EXTRACAO_RVV_DASH_TABLEAU

Objetivo:

 Este documento tem como objetivo descrever detalhes da migração dos processos relacionado ao Faturamento Online

Descrição do Processo:

O processo segue a mesma lógica e objetivo do script SQL do Redshift que foi anexado nesse documento. Algumas funções da linguagem SQL do Redshift foram adaptadas para as funções do pyspark.

Observação Importante:

Tarefa Jira de Desenvolvimento

​https://dtxlab.atlassian.net/browse/AEMD-228

Scrip SQL utilizado na migração

Origem

• analytics_madeira.tb_sim_tableau_rvv

• analytics_madeira.tb_rvv_vendedores_produto_meta

Periodicidade Carga

Diária

Tabela Destino Final

• analytics_madeira.tb_extracao_rvv_dash_tableau

Database no Hive

analytics_madeira.

Ação DML

TRUNCATE/INSERT

Descrição Ação DML

Apaga toda a tabela e insere novas transações do dia

Nome do Notebook Databricks:

EXTRACAO_RVV_DASH_TABLEAU

Link do Notebook Databricks

https://dbc-9570c746-ec11.cloud.databricks.com/?o=3606981051492833#notebook/2788533574288399

Nome do JOB Databricks:

JOB_MADEIRA_EXTRACAO_RVV_DASH_TABLEAU

Link do JOB Databricks

https://dbc-9570c746-ec11.cloud.databricks.com/?o=3606981051492833#job/964114971663823

Nome do Job Pai Databricks:

  JOB_MADEIRA_SIM_TABLEAU_RVV

Link do JOB Pai Databricks

https://dbc-9570c746-ec11.cloud.databricks.com/?o=3606981051492833#job/68600167792457/runs

Agenda de Execução do JOB

Nome do Notebook START JOB:

START_JOB_MADEIRA_EXTRACAO_RVV_DASH_TABLEAU

Link do Notebook START JOB:

https://dbc-9570c746-ec11.cloud.databricks.com/?o=3606981051492833#notebook/2788533574312968