RVV Meta

Este documento tem como objetivo descrever detalhes da migração do processo PRODUTO_META_RVV, que foi efetuado a partir da DAG Airflow dag_etl_kettle_madeira_produto_meta.

Tarefa Jira de Desenvolvimento: https://dtxlab.atlassian.net/browse/AEMD-182

Nome da DAG Migrada: dag_etl_kettle_madeira_produto_meta

Arquivo Utilizado para Migração:

Open

Nome do Notebook Databricks: /gold/analytics-madeira/Backoffice/PROCESSO_RVV/PRODUTO_META_RVV

Link do Notebook Databricks: https://dbc-9570c746-ec11.cloud.databricks.com/?o=3606981051492833#notebook/3707336503361903/command/4205888893951175

Nome do JOB Databricks: JOB_FLOW_MADEIRA_PROCESSO_RVV

Link do JOB Databricks: https://dbc-9570c746-ec11.cloud.databricks.com/?o=3606981051492833#job/1049946341510341/runs

Agenda de Execução do JOB: Processo é inicializado pela AWS Lambda. Assim que o arquivo é salvo no bucket o job no databricks inicia.

Nome do Notebook START JOB: -

Link do Notebook START JOB: -

Tabela (s) e Arquivo (s) utilizado (s) na Leitura do Processo

• Cadastros_RVV.xlsm

Observações Importantes Referentes à (às) Tabela (s) de Leitura

-

Tabela(s) atualizadas(s) no Processo

• analytics_madeira.t_rvv_produto_meta

Detalhes do Processo Migrado

1. Copia o arquivo para uma pasta temporária;

2. Com base no arquivo é gerado um dataframe;

3. Grava os dados na tabela do databricks subscrevendo os dados já existentes.

4. Apaga o arquivo criado na pasta temporária.