Smartsheet Escritório de Projetos

Este documento tem como objetivo descrever detalhes da migração do processo SMARTSHEET_ESCRITORIO_PROJETOS, que foi efetuado a partir da DAG Airflow dag_etl_smartsheet_escritorio_projeto.

Tarefa Jira de Desenvolvimento: https://dtxlab.atlassian.net/browse/AEMD-34

Nome da DAG Migrada: dag_etl_smartsheet_escritorio_projeto

Arquivo Utilizado para Migração:

Open

Nome do Notebook Databricks: /gold/analytics-madeira/Backoffice/SMARTSHEET/SMARTSHEET_ESCRITORIO_PROJETOS

Link do Notebook Databricks: https://dbc-9570c746-ec11.cloud.databricks.com/?o=3606981051492833#notebook/4254588840945879/command/4205888893951514

Nome do JOB Databricks: JOB_MADEIRA_SMARTSHEET_ESCRITORIO_PROJETOS

Link do JOB Databricks: https://dbc-9570c746-ec11.cloud.databricks.com/?o=3606981051492833#job/129408899276287

Agenda de Execução do JOB: Schedule "0 30 7,9,11,13,15 * * ?". Será executado via cronograma todos os dias as 7:30am, 9:30am, 11:30am, 1:30pm e 3:30pm.

Nome do Notebook START JOB: -

Link do Notebook START JOB: -

Tabela (s) e Arquivo (s) utilizado (s) na Leitura do Processo

• API Smartsheet - Worksheet ID: 8158747441817476

Observações Importantes Referentes à (às) Tabela (s) de Leitura

-

Tabela(s) atualizadas(s) no Processo

• analytics.t_smartsheet_escritorio_projetos

Detalhes do Processo Migrado

1. Cria acessos, lê e extrai as informais referente a consulta da API;

2. Para cada campo dos dados da API é criado uma lista;

3. Cria um dataframe spark com as listas da API;

4. Normaliza, define e aplica as regras de negocio no dataframe;

5. Caso haja registros no dataframe é feito a gravação dos dados na tabela do databricks e/ou redshift subscrevendo os dados já existentes.