Indicadores de Mercado

Objetivo:

Esse projeto nasceu por solicitação da equipe Dados IPTD, afim de reunir
vários dados de indicadores de mercado em uma única visão, estruturada
em uma camada Business.

Descrição do PROJETO:

• O objetivo deste projeto é ter uma view de resumo com todos os
  indicadores macroeconômicos que são importantes para o setor de
  materiais de construção.

• Com isso haverá melhora na eficiência operacional que em uma única
  visão terá todos dos dados agrupados.

Escopo:

• Objetivo é montar uma view de consulta que primeiramente será atualizada todo dia as 06h da manhã.

• Area de Dados IPTD – solicitante

• Area de Inteligencia de Negócio – consumidores

Tarefa Jira de Desenvolvimento

​ ADECA-736 - Getting issue details... STATUS

Regras de cada campo:

Clique aqui para visualizar

Script SQL utilizado na migração

https://github.com/dexco-brasil/analytics-databricks-indicadores-macro-economicos/blob/master/Workspace/etl-indicadores-mercado/DEXCO_INDICADORES_MERCADO.py

 Origem

• STAGE.INTELIGENCIA_MERCADO_GOLD.COMMODITIES

• STAGE.INTELIGENCIA_MERCADO_GOLD.COMMODITIES_BR

• STAGE.INTELIGENCIA_MERCADO_GOLD.CONSUMO_DE_ACO

• STAGE.INTELIGENCIA_MERCADO_GOLD.CONSUMO_DE_CIMENTO

• STAGE.INTELIGENCIA_MERCADO_GOLD.DESEMPREGO

• STAGE.INTELIGENCIA_MERCADO_GOLD.FAMILIAS

• STAGE.INTELIGENCIA_MERCADO_GOLD.FINANCIAMENTO_IMOBILIARIO

• STAGE.INTELIGENCIA_MERCADO_GOLD.FIPE

• STAGE.INTELIGENCIA_MERCADO_GOLD.IBCBR

• STAGE.INTELIGENCIA_MERCADO_GOLD.IC_BR_METAL

• STAGE.INTELIGENCIA_MERCADO_GOLD.IGMI_R

• STAGE.INTELIGENCIA_MERCADO_GOLD.INCC

• STAGE.INTELIGENCIA_MERCADO_GOLD.INDICES_FGV

• STAGE.INTELIGENCIA_MERCADO_GOLD.IVAR

• STAGE.INTELIGENCIA_MERCADO_GOLD.PRODUCAO

• STAGE.INTELIGENCIA_MERCADO_GOLD.RENDA

• STAGE.INTELIGENCIA_MERCADO_GOLD.SERVICO

• STAGE.INTELIGENCIA_MERCADO_GOLD.TAXA_JUROS_BR_10_ANOS

• STAGE.INTELIGENCIA_MERCADO_GOLD.VENDAS_VAREJO

• STAGE.INTELIGENCIA_MERCADO_GOLD.MERCADO_IMOBILIARIO

Periodicidade Carga

1 x ao dia

Tabela Destino Final

dexco.indicadores_macro_economicos.indicadores_mercado

Database em DEV

indicadores_macro_economicos

Ação DML

CREATE, REPLACE

Descrição Ação DML

Cria ou Recria a View baseada na consulta as tabelas de origem.

Nome do Notebook Databricks:

DEXCO_INDICADORES_MERCADO

Link do Notebook Databricks

https://dbc-9570c746-ec11.cloud.databricks.com/?o=3606981051492833#notebook/245686217348750/command/245686217348751

Nome do JOB Databricks:

JOB_INDICADORES_MERCADO - Databricks

Link do JOB Databricks

https://dbc-1d7378f1-3eb3.cloud.databricks.com/?o=3038895363325901#job/415313764317678

Nome do Job Pai Databricks:

não há

Link do JOB Pai Databricks

não há

Agenda de Execução do JOB

Diariamente as 6h da manhã (horário de Brasília)

tabela_origem

string

coluna_origem

string

mes_referencia

date

nome_indicador

string

sigla_indicador

string

fonte

string

metrica

string

valor

double

Histórico de Modificações:

Versão

Nome

Função e Área

Data

Modificação

V1

Raquel Jung Mateus

PO - Analytics

03/10/2023

Criação do primeiro Script

V2

Renato Tavares

Coord de dados - Analytics

16/10/2023

Criação do primeiro Script

V3

Anderson Manoel Teixeira

Analista de dados - Analytics

18/08/2023

Criação do Notebook no Databricks e esboço dos JOBS de DEV e PROD.