Modelo Operacional

Este documento tem como objetivo descrever detalhes da migração do processo MODELO_OPERACIONAL, que foi efetuado a partir da DAG Airflow dag_etl_modelo_operacional_madeira.

Tarefa Jira de Desenvolvimento: https://dtxlab.atlassian.net/browse/AEMD-226

Nome da DAG Migrada: dag_etl_modelo_operacional_madeira

Arquivo Utilizado para Migração:

Open

Nome do Notebook Databricks: /gold/analytics-madeira/Industrial/MODELO_OPERACIONAL_MADEIRA/MODELO_OPERACIONAL

Link do Notebook Databricks: https://dbc-9570c746-ec11.cloud.databricks.com/?o=3606981051492833#notebook/145302570099890/command/281361761366634

Nome do JOB Databricks: JOB_MADEIRA_INDUSTRIAL_MODELO_OPERACIONAL

Link do JOB Databricks: https://dbc-9570c746-ec11.cloud.databricks.com/?o=3606981051492833#job/18728583134972

Agenda de Execução do JOB: Processo é inicializado pela AWS Lambda. Assim que o arquivo é salvo no bucket o job no databricks inicia.

Nome do Notebook START JOB: -

Link do Notebook START JOB: -

Tabela (s) e Arquivo (s) utilizado (s) na Leitura do Processo

• MODELO_OPERACIONAL_MADEIRA.csv

Observações Importantes Referentes à (às) Tabela (s) de Leitura

-

Tabela(s) atualizadas(s) no Processo

• analytics_madeira_industrial.t_producao_modelo_operacional_madeira

Detalhes do Processo Migrado

1. Verifica se o arquivo existe na pasta;

2. Com base no arquivo é gerado um dataframe;

3. Apaga na tabela delta todos os dados em comum com os dados do dataframe;

4. Inseri os dados do dataframe na tabela delta;

5. Cria o Arquive;

6. Faz um “truncate” na tabela do redshift depois um “append”.