BCM SEOP

Este documento tem como objetivo descrever detalhes da migração do processo MADEIRA_SEOP_BCM, que foi efetuado a partir da DAG Airflow dag_etl_kettle_madeira_sop.

Tarefa Jira de Desenvolvimento: https://dtxlab.atlassian.net/browse/AEMD-147

Nome da DAG Migrada: dag_etl_kettle_madeira_sop

Arquivo Utilizado para Migração:

Open

Nome do Notebook Databricks: /gold/analytics-madeira/Backoffice/PROCESSO_SEOP_BCM/MADEIRA_SEOP_BCM

Link do Notebook Databricks: https://dbc-9570c746-ec11.cloud.databricks.com/?o=3606981051492833#notebook/3707336503349121/command/4205888893951135

Nome do JOB Databricks: JOB_FLOW_MADEIRA_SEOP

Link do JOB Databricks: https://dbc-9570c746-ec11.cloud.databricks.com/?o=3606981051492833#job/218920062944148/runs

Agenda de Execução do JOB: Processo é inicializado pela AWS Lambda. Assim que o arquivo é salvo no bucket o job no databricks inicia.

Nome do Notebook START JOB: -

Link do Notebook START JOB: -

Tabela (s) e Arquivo (s) utilizado (s) na Leitura do Processo

• prd_t_bcm_seop.xlsm

Observações Importantes Referentes à (às) Tabela (s) de Leitura

-

Tabela(s) atualizadas(s) no Processo

• analytics_madeira.t_bcm_seop

Detalhes do Processo Migrado

1. Verifica se o arquivo existe na pasta;

2. Copia o arquivo para uma pasta temporária;

3. Com base no arquivo eh gerado um dataframe e aplica-se a regra de negocio;

4. Apaga na tabela delta todos os dados em comum com os dados do dataframe;

5. Inseri os dados do dataframe na tabela delta;

6. Apaga o arquivo cria na pasta temporária;

7. Cria o Arquive;

8. Exclui o arquivo na origem.