Projeções Itaú

Este processo de transformação de dados da camada Bronze para a camada Silver, lê das tabelas abaixo, na Bronze e os deduplica, gerando tabelas na Silver:

itau_projecoes.cenario_brasil_mensal -> inteligencia_mercado_silver.itau_projecoes_cenario_brasil_mensal
itau_projecoes.cenario_brasil_trimestral -> inteligencia_mercado_silver.itau_projecoes_cenario_brasil_trimestral
itau_projecoes.longo_prazo_anual -> inteligencia_mercado_silver.itau_projecoes_longo_prazo_anual
tendencias.tendencias_indicadores_base_bronze -> tendencias.tendencias_indicadores_base_silver

Além da deduplicação, é aplicada a lógica a seguir para carregar apenas projeções:

se existir registro para o mesmo período de referência nos dados coletados da Tendências (tendencias.tendencias_indicadores_base_bronze), é considerado como realizado e descartado
caso contrário, é considerado como projetado e gravado

Como é necessária a correlação um a um entre o nome do indicador das tabelas itau_projecoes.* e os tickers da tabela tendencias.tendencias_indicadores_base_bronze, estão sendo considerados, por ora, somente os indicadores abaixo:

'TAXA DE CÂMBIO_BRL / USD_fim do período': ticker = 'M3866'
'Inflação_IPCA_%a/a': ticker = 'M2454'
'TAXA DE JUROS_NOMINAL_Meta SELIC': ticker = 'M2453'
'PIB - Total': ticker = 'M85195'

Databricks:

Relação de Jobs x Notebooks que compõem o processo:

Job	Periodicidade	Task	Notebook	Parâmetros	Repositório
inteligencia-mercado_coletor_api_tendencias	Diário (0 0 7 * * ?)	tendencias_silver	/silver/inteligencia-mercado/itau_tendencias	Nenhum	https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado.git

Tabelas:

Lista de tabelas geradas pelo processo:

inteligencia_mercado_silver.itau_projecoes_cenario_brasil_mensal
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
indicador	Não	Não	-	-	date	-	-	Mês de referência do indicador, em formato de data (primeiro dia do mês).
mes	Não	Não	-	-	string	-	-	Mês/Ano formatado para exibição.
valor	Não	Não	-	-	double	-	-	Valor do IGMI-R, conforme publicado.
data_carga	Não	Não	-	-	double	-	-	Valor percentual do IGMI-R, frente ao mesmo período do ano anterior.
mes_referencia
ts_incl_reg	Não	Não	-	-	timestamp	-	-	Momento da inclusão do registro, para auditoria.
ts_alt_reg

inteligencia_mercado_silver.itau_projecoes_cenario_brasil_trimestral
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
dt_mes_ano	Não	Não	-	-	date	-	-	Mês de referência do indicador, em formato de data (primeiro dia do mês).
ds_mes_ano	Não	Não	-	-	string	-	-	Mês/Ano formatado para exibição.
vl_igmi_r	Não	Não	-	-	double	-	-	Valor do IGMI-R, conforme publicado.
vl_igmi_r_perc_aa	Não	Não	-	-	double	-	-	Valor percentual do IGMI-R, frente ao mesmo período do ano anterior.
ts_incl_reg	Não	Não	-	-	timestamp	-	-	Momento da inclusão do registro, para auditoria.

inteligencia_mercado_silver.itau_projecoes_longo_prazo_anual
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
dt_mes_ano	Não	Não	-	-	date	-	-	Mês de referência do indicador, em formato de data (primeiro dia do mês).
ds_mes_ano	Não	Não	-	-	string	-	-	Mês/Ano formatado para exibição.
vl_igmi_r	Não	Não	-	-	double	-	-	Valor do IGMI-R, conforme publicado.
vl_igmi_r_perc_aa	Não	Não	-	-	double	-	-	Valor percentual do IGMI-R, frente ao mesmo período do ano anterior.
ts_incl_reg	Não	Não	-	-	timestamp	-	-	Momento da inclusão do registro, para auditoria.

tendencias.tendencias_indicadores_base_silver
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
dt_mes_ano	Não	Não	-	-	date	-	-	Mês de referência do indicador, em formato de data (primeiro dia do mês).
ds_mes_ano	Não	Não	-	-	string	-	-	Mês/Ano formatado para exibição.
vl_igmi_r	Não	Não	-	-	double	-	-	Valor do IGMI-R, conforme publicado.
vl_igmi_r_perc_aa	Não	Não	-	-	double	-	-	Valor percentual do IGMI-R, frente ao mesmo período do ano anterior.
ts_incl_reg	Não	Não	-	-	timestamp	-	-	Momento da inclusão do registro, para auditoria.

tendencias.tendencias_projecoes_silver
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
dt_mes_ano	Não	Não	-	-	date	-	-	Mês de referência do indicador, em formato de data (primeiro dia do mês).
ds_mes_ano	Não	Não	-	-	string	-	-	Mês/Ano formatado para exibição.
vl_igmi_r	Não	Não	-	-	double	-	-	Valor do IGMI-R, conforme publicado.
vl_igmi_r_perc_aa	Não	Não	-	-	double	-	-	Valor percentual do IGMI-R, frente ao mesmo período do ano anterior.
ts_incl_reg	Não	Não	-	-	timestamp	-	-	Momento da inclusão do registro, para auditoria.