Este espaço é destinado a documentação da equipe de Analytics
Smartsheet Sellout Magazines
Este documento tem como objetivo descrever detalhes da migração do processo SMARTSHEET_SELLOUT_MAGAZINES, que foi efetuado a partir da DAG Airflow dag_smartsheet_sellout_magazines.
Tarefa Jira de Desenvolvimento: https://dtxlab.atlassian.net/browse/AEMD-34
Nome da DAG Migrada:
Arquivo Utilizado para Migração:
Nome do Notebook Databricks: /gold/analytics-madeira/Backoffice/SMARTSHEET/SMARTSHEET_SELLOUT_MAGAZINES
Link do Notebook Databricks: https://dbc-9570c746-ec11.cloud.databricks.com/?o=3606981051492833#notebook/2713612246586929/command/4205888893951525
Nome do JOB Databricks: JOB_MADEIRA_SMARTSHEET_SELLOUT_MAGAZINES
Link do JOB Databricks: https://dbc-9570c746-ec11.cloud.databricks.com/?o=3606981051492833#job/243574945778276
Agenda de Execução do JOB: Schedule "0 0 7,9,11,13,15 * * ?". Será executado via cronograma todos os dias as 7:00am, 9:00am, 11:00am, 1:00pm, 3:00pm.
Nome do Notebook START JOB: -
Link do Notebook START JOB: -
Tabela (s) e Arquivo (s) utilizado (s) na Leitura do Processo
API Smartsheet - Worksheet ID:
6161973290264452
Observações Importantes Referentes à (às) Tabela (s) de Leitura
-
Tabela(s) atualizadas(s) no Processo
analytics_madeira.t_smartsheet_sellout_magazines
Detalhes do Processo Migrado
Cria acessos, lê e extrai as informais referente a consulta da API;
Para cada campo dos dados da API é criado uma lista;
Cria um dataframe spark com as listas da API;
Normaliza, define e aplica as regras de negocio no dataframe;
Caso haja registros no dataframe é feito a gravação dos dados na tabela do databricks e/ou redshift subscrevendo os dados já existentes.
Related content
CAL-03-ANALITYCS