Dash Mercado - Base

Este documento tem como objetivo descrever detalhes da migração do processo DASH_MERCADO_BASE, que foi efetuado a partir da DAG Airflow dag_etl_madeira_mercado_base.

Tarefa Jira de Desenvolvimento: https://dtxlab.atlassian.net/browse/AEMD-97

Nome da DAG Migrada: dag_etl_madeira_mercado_base

Arquivo Utilizado para Migração:

Open

Nome do Notebook Databricks: /gold/analytics-madeira/Backoffice/DASH_MERCADO/DASH_MERCADO_BASE

Link do Notebook Databricks: https://dbc-9570c746-ec11.cloud.databricks.com/?o=3606981051492833#notebook/499628706269144/command/4205888893951325

Nome do JOB Databricks: JOB_FLOW_MADEIRA_DASH_MERCADO

Link do JOB Databricks: https://dbc-9570c746-ec11.cloud.databricks.com/?o=3606981051492833#job/743775134467231/runs

Agenda de Execução do JOB: Processo é inicializado por pela AWS Lambda. Assim que o arquivo é salvo no bucket o job no databricks inicia.

Nome do Notebook START JOB: -

Link do Notebook START JOB: -

Tabela (s) e Arquivo (s) utilizado (s) na Leitura do Processo

• Base Completa.xlsx

Observações Importantes Referentes à (às) Tabela (s) de Leitura

-

Tabela(s) atualizadas(s) no Processo

• analytics_madeira.t_mercado_base

Detalhes do Processo Migrado

1. Copia o arquivo para uma pasta temporária;

2. Com base no arquivo eh gerado um dataframe;

3. Apaga na tabela delta todos os dados em comum com os dados do dataframe;

4. Inseri os dados do dataframe na tabela delta;

5. Apaga o arquivo cria na pasta temporária.