Fix:subi nifi as consultas

README.md

@@ -39,12 +39,12 @@ Será considerado **download completo** quando o usuário realizar o download de
 | Coluna | Descrição | Tipo de Dado |
 | :--- | :--- | :--- |
 | `users_id` | Identificador do usuário no sistema GLPI. | `INT` |
-| `email` | E-mail do usuário associado aos downloads. | `TEXT` |
-| `ip` | Último endereço IP utilizado pelo usuário para download. | `TEXT` |
-| `versao_pgsys` | Versão mais recente do `pgsys` baixada pelo usuário. | `TEXT` |
+| `email` | E-mail do usuário associado aos downloads. | `VARCHAR(255)` |
+| `ip` | Último endereço IP utilizado pelo usuário para download. | `VARCHAR(14)` |
+| `versao_pgsys` | Versão mais recente do `pgsys` baixada pelo usuário. | `VARCHAR(6)` |
 | `timestamp_pgsys` | Carimbo de data/hora do download mais recente do `pgsys`. | `TIMESTAMP` |
 | `context` | Lista concatenada de todos os caminhos de download (`context`) do usuário, ordenados. | `TEXT` |
-| `cursos` | Lista de cursos (`pgsys` ou `tdp`) associados aos downloads do usuário. | `TEXT` |
+| `cursos` | Lista de cursos (`pgsys` ou `tdp`) associados aos downloads do usuário. | `VARCHAR(10)` |
 | `arquivos_baixados` | Lista concatenada e única dos nomes dos arquivos baixados. | `TEXT` |
 | `pgsys_completo` | Indica se o usuário baixou a suite completa de ferramentas do `pgsys` para a versão mais recente. | `BOOLEAN` |
 
@@ -69,12 +69,12 @@ Será considerado **download completo** quando o usuário realizar o download de
 | Coluna | Descrição | Tipo de Dado |
 | :--- | :--- | :--- |
 | `users_id` | Identificador do usuário no sistema GLPI. | `INT` |
-| `email` | E-mail do usuário associado aos downloads. | `TEXT` |
-| `ip` | Último endereço IP utilizado pelo usuário para download. | `TEXT` |
-| `versao_tdp` | Versão mais recente do `tdp` baixada pelo usuário. | `TEXT` |
+| `email` | E-mail do usuário associado aos downloads. | `VARCHAR(255)` |
+| `ip` | Último endereço IP utilizado pelo usuário para download. | `VARCHAR(14)` |
+| `versao_tdp` | Versão mais recente do `tdp` baixada pelo usuário. | `VARCHAR(6)` |
 | `timestamp_tdp` | Carimbo de data/hora do download mais recente do `tdp`. | `TIMESTAMP` |
 | `context` | Lista concatenada de todos os caminhos de download (`context`) do usuário, ordenados. | `TEXT` |
-| `cursos` | Lista de cursos (`pgsys` ou `tdp`) associados aos downloads do usuário. | `TEXT` |
+| `cursos` | Lista de cursos (`pgsys` ou `tdp`) associados aos downloads do usuário. | `VARCHAR(10)` |
 | `arquivos_baixados` | Lista concatenada e única dos nomes dos arquivos baixados. | `TEXT` |
 | `tdp_completo` | Indica se o usuário baixou os componentes essenciais (`tdp-components`, `tdp-installer`, `tdp-utils`). | `BOOLEAN` |
 
@@ -85,7 +85,10 @@ Será considerado **download completo** quando o usuário realizar o download de
 
 ```
 .
-├── README.md                                                   # Documentação principal
+├── README.md                                                  # Documentação principal
+└── ddl                                                        # DDL de criação das tabelas
+    ├── [ddl_pgsys.sql](./ddl/ddl_pgsys.sql)      
+    └── [ddl_tdp.sql](./ddl/ddl_tdp.sql)         
 └── consultas/                                                  # Scripts e consultas para checar os downloads
     ├── [consulta_antiga.sql](./consultas/consulta_antiga.sql)   # Primeira consulta feita por Felipe e Talles
     ├── [pgsys_download.sql](./consultas/pgsys_download.sql)      # Refatorada por Milena

consultas/pgsys_download.sql → consultas/relatorio_downloads_pgsys.sql

@@ -9,19 +9,21 @@ WITH base AS (
         regexp_substr(d.context, '[^/]+$') AS arquivo,
         CASE
             WHEN d.context LIKE '%pgsys%' THEN 'pgsys'
-            WHEN d.context LIKE '%tdp%'   THEN 'tdp'
+            WHEN d.context LIKE '%tdp%' THEN 'tdp'
         END AS curso
     FROM nexus.downloads d
     LEFT JOIN glpidb.glpi_useremails gu
            ON gu.email = replace(regexp_substr(d.email, '.*/'), '/', '')
-    WHERE regexp_substr(d.email, '/.*') IS NOT NULL AND d.context not LIKE '%/components/%' AND d.context not LIKE '%/repos/%' AND d.context not LIKE '%/utils/%'
+    WHERE regexp_substr(d.email, '/.*') IS NOT NULL
+      AND d.context not LIKE '%/components/%'
+      AND d.context not LIKE '%/repos/%'
+      AND d.context not LIKE '%/utils/%'
 ),
 agrupado AS (
     SELECT
         users_id,
         email,
         MAX(ip) AS ip,
-        -- pega versão mais recente do pgsys
         (SELECT b.versao
          FROM base b
          WHERE b.users_id = d.users_id
@@ -38,7 +40,7 @@ agrupado AS (
         STRING_AGG(DISTINCT d.arquivo, ', ' ORDER BY d.arquivo) AS arquivos_baixados,
         STRING_AGG(DISTINCT curso, ', ') AS cursos
     FROM base d
-    WHERE d.curso = 'pgsys'
+    WHERE d.curso = 'pgsys' AND users_id IS NOT null
     GROUP BY users_id, email
 )
 SELECT
@@ -68,4 +70,4 @@ SELECT
         THEN true
         ELSE false
     END AS download_completo
-FROM agrupado;
\ No newline at end of file
+FROM agrupado;

consultas/tdp_download.sql → consultas/relatorio_downloads_tdp.sql

@@ -14,7 +14,7 @@ WITH base AS (
     FROM nexus.downloads d
     LEFT JOIN glpidb.glpi_useremails gu
            ON gu.email = replace(regexp_substr(d.email, '.*/'), '/', '')
-    WHERE regexp_substr(d.email, '/.*') IS NOT null
+    WHERE regexp_substr(d.email, '/.*') IS NOT NULL AND users_id IS NOT null
 ),
 agrupado AS (
     SELECT
@@ -56,4 +56,4 @@ SELECT
         THEN true
         ELSE false
     END AS tdp_completo
-FROM agrupado;
+FROM agrupado;
\ No newline at end of file

ddl/ddl_pgsys.sql

+CREATE TABLE superset_consolidado.relatorio_downloads_pgsys (
+	users_id int4 NOT NULL,
+	email varchar(255) NOT NULL,
+	ip varchar(255) NULL,
+	versao_pgsys varchar(6) NULL,
+	timestamp_pgsys timestamp NULL,
+	context text NULL,
+	cursos varchar(10) NULL,
+	arquivos_baixados text NULL,
+	download_completo bool NULL,
+	CONSTRAINT relatorio_downloads_pgsys_pkey PRIMARY KEY (users_id)
+);
\ No newline at end of file

ddl/ddl_tdp.sql

+CREATE TABLE superset_consolidado.relatorio_downloads_tdp (
+	users_id int4 NOT NULL,
+	email varchar(255) NOT NULL,
+	ip varchar(255) NULL,
+	versao_tdp varchar(6) NULL,
+	timestamp_tdp timestamp NULL,
+	context text NULL,
+	cursos varchar(10) NULL,
+	arquivos_baixados text NULL,
+	download_completo bool NULL,
+	CONSTRAINT relatorio_downloads_tdp_pkey PRIMARY KEY (users_id)
+);
\ No newline at end of file