/
Smartsheet Sellout Magazines

Este espaço é destinado a documentação da equipe de Analytics

Smartsheet Sellout Magazines

Este documento tem como objetivo descrever detalhes da migração do processo SMARTSHEET_SELLOUT_MAGAZINES, que foi efetuado a partir da DAG Airflow dag_smartsheet_sellout_magazines.

 

Tarefa Jira de Desenvolvimento: https://dtxlab.atlassian.net/browse/AEMD-34

 

Nome da DAG Migrada:

Arquivo Utilizado para Migração:

 

Nome do Notebook Databricks: /gold/analytics-madeira/Backoffice/SMARTSHEET/SMARTSHEET_SELLOUT_MAGAZINES

Link do Notebook Databricks: https://dbc-9570c746-ec11.cloud.databricks.com/?o=3606981051492833#notebook/2713612246586929/command/4205888893951525

Nome do JOB Databricks: JOB_MADEIRA_SMARTSHEET_SELLOUT_MAGAZINES

Link do JOB Databricks: https://dbc-9570c746-ec11.cloud.databricks.com/?o=3606981051492833#job/243574945778276

Agenda de Execução do JOB: Schedule "0 0 7,9,11,13,15 * * ?". Será executado via cronograma todos os dias as 7:00am, 9:00am, 11:00am, 1:00pm, 3:00pm.

Nome do Notebook START JOB: -

Link do Notebook START JOB: -

 

Tabela (s) e Arquivo (s) utilizado (s) na Leitura do Processo

  • API Smartsheet - Worksheet ID: 6161973290264452

 

Observações Importantes Referentes à (às) Tabela (s) de Leitura

-

 

Tabela(s) atualizadas(s) no Processo

  • analytics_madeira.t_smartsheet_sellout_magazines

 

Detalhes do Processo Migrado

  1. Cria acessos, lê e extrai as informais referente a consulta da API;

  2. Para cada campo dos dados da API é criado uma lista;

  3. Cria um dataframe spark com as listas da API;

  4. Normaliza, define e aplica as regras de negocio no dataframe;

  5. Caso haja registros no dataframe é feito a gravação dos dados na tabela do databricks e/ou redshift subscrevendo os dados já existentes.

Related content

Smartsheet Pesquisa Preço Indústria
Smartsheet Pesquisa Preço Indústria
More like this
Smartsheet MI Exceções
Smartsheet MI Exceções
More like this
Smartsheet Escritório de Projetos
Smartsheet Escritório de Projetos
More like this
Smartsheet SGD
Smartsheet SGD
More like this

CAL-03-ANALITYCS