POA_Madeira

Este documento tem como objetivo descrever detalhes da migração do processo POA_MADEIRA, que foi efetuado a partir da DAG Airflow dag_etl_kettle_madeira_poa.

Tarefa Jira de Desenvolvimento: https://dtxlab.atlassian.net/browse/AEMD-104

Nome da DAG Migrada: dag_etl_kettle_madeira_poa

Arquivo Utilizado para Migração:

Open

Nome do Notebook Databricks: /gold/analytics-madeira/Backoffice/POA_MADEIRA/POA_MADEIRA

Link do Notebook Databricks: https://dbc-9570c746-ec11.cloud.databricks.com/?o=3606981051492833#notebook/499628706269144/command/4205888893951325

Nome do JOB Databricks: JOB_MADEIRA_POA_MADEIRA

Link do JOB Databricks: https://dbc-9570c746-ec11.cloud.databricks.com/?o=3606981051492833#job/272518605272604

Agenda de Execução do JOB: Processo é inicializado pela AWS Lambda. Assim que o arquivo é salvo no bucket o job no databricks inicia.

Nome do Notebook START JOB: -

Link do Notebook START JOB: -

Tabela (s) e Arquivo (s) utilizado (s) na Leitura do Processo

• poa_madeira.xlsm

Observações Importantes Referentes à (às) Tabela (s) de Leitura

-

Tabela(s) atualizadas(s) no Processo

• analytics_madeira.t_poa_madeira

Detalhes do Processo Migrado

1. Copia o arquivo para uma pasta temporária;

2. Com base no arquivo eh gerado um dataframe;

3. Apaga na tabela delta todos os dados em comum com os dados do dataframe;

4. Inseri os dados do dataframe na tabela delta;

5. Apaga o arquivo cria na pasta temporária;

6. Cria o Arquive;

7. Exclui o arquivo na origem.