Madcentro Sellout Estoque

Este documento tem como objetivo descrever detalhes da migração do processo madeira sellout, que foi efetuado a partir da DAG Airflow dag_etl_sellout_madcentro_estoque.

Tarefa Jira de Desenvolvimento: <Informar o Link da Tarefa Jira atrelada ao desenvolvimento>

Nome da DAG Migrada: dag_etl_sellout_madcentro_estoque

Arquivo Utilizado para Migração:

Nome do Notebook Databricks: spark_etl_madcentro_t_sellout_estoque

Link do Notebook Databricks: https://dbc-9570c746-ec11.cloud.databricks.com/?o=3606981051492833#notebook/3411505191891148/command/3411505191891200

Nome do JOB Databricks: JOB_FLOW_MADEIRA_SELLOUT_MADCENTRO

Link do JOB Databricks: https://dbc-9570c746-ec11.cloud.databricks.com/?o=3606981051492833#job/513148801131325

Agenda de Execução do JOB: 0 23 * * *

Nome do Notebook START JOB:

Link do Notebook START JOB:

Tabela (s) e Arquivo (s) utilizado (s) na Leitura do Processo

·         MADCENTROESTOQUE.csv

·         analytics_stg.t_sellout_estoque_madcentro_temp (databricks)

·         analytics_madeira.t_sellout_estoque_madcentro (databricks)

·         madeira.t_sellout_estoque_madcentro (redshift)

Observações Importantes Referentes à (às) Tabela (s) de Leitura

Importante citar que a tabela analytics_stg.t_sellout_leo_madeira_venda_temp é criada e dropada ao longo do processo e como o nome sugere tem característica de ser temporária, apenas para que se faça merge entre o arquivo de entrada e a tabela produtiva do databricks

Tabela(s) atualizadas(s) no Processo

·         analytics_madeira.t_sellout_estoque_madcentro (databricks)

·         madeira.t_sellout_estoque_madcentro (redshift)

Detalhes do Processo Migrado

O processo consiste em ler o arquivo de entrada e atualizar as informações das tabelas:
·         analytics_madeira.t_sellout_estoque_madcentro (databricks)

·         madeira.t_sellout_estoque_madcentro (redshift)

através de um método de merge into

• Informações relevantes

Durante o processo são coletadas informações sobre o status de algumas etapas de validação a fim de termos controle sobre como ocorreram, ou não, as cargas.

No inicio do processo é chamado o comando

tal comando tem o papel de importar as funções e variáveis no notebook “FUNCTIONS”, ao qual fazemos uso da função ControleSellout para coleta das informações anteriormente de cada etapa

O propósito de tal coleta é ao final no processo obter um lista de erros e informar o devido responsável os motivos que fizeram o processo se dar por incompleto.

Link do notebook com as funções desenvolvidas: https://dbc-9570c746-ec11.cloud.databricks.com/?o=3606981051492833#notebook/3278180759103687/command/4205888893950914