Edit - Arquitetura e Governança D&A

/

Projeções Itaú

Este processo de transformação de dados da camada Bronze para a camada Silver, lê das tabelas abaixo, na Bronze e os deduplica, gerando tabelas na Silver:

itau_projecoes.cenario_brasil_mensal -> inteligencia_mercado_silver.itau_projecoes_cenario_brasil_mensal
itau_projecoes.cenario_brasil_trimestral -> inteligencia_mercado_silver.itau_projecoes_cenario_brasil_trimestral
itau_projecoes.longo_prazo_anual -> inteligencia_mercado_silver.itau_projecoes_longo_prazo_anual
tendencias.tendencias_indicadores_base_bronze -> tendencias.tendencias_indicadores_base_silver

Além da deduplicação, é aplicada a lógica a seguir para carregar apenas projeções:

se existir registro para o mesmo período de referência nos dados coletados da Tendências (tendencias.tendencias_indicadores_base_bronze), é considerado como realizado e descartado
caso contrário, é considerado como projetado e gravado

Como é necessária a correlação um a um entre o nome do indicador das tabelas itau_projecoes.* e os tickers da tabela tendencias.tendencias_indicadores_base_bronze, estão sendo considerados, por ora, somente os indicadores abaixo:

'TAXA DE CÂMBIO_BRL / USD_fim do período': ticker = 'M3866'
'Inflação_IPCA_%a/a': ticker = 'M2454'
'TAXA DE JUROS_NOMINAL_Meta SELIC': ticker = 'M2453'
'PIB - Total': ticker = 'M85195'

Databricks:

Relação de Jobs x Notebooks que compõem o processo:

Job	Periodicidade	Task	Notebook	Parâmetros	Repositório
inteligencia-mercado_coletor_api_tendencias	Diário (0 0 7 * * ?)	tendencias_silver	/silver/inteligencia-mercado/itau_tendencias	Nenhum	https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado.git

Tabelas:

Lista de tabelas geradas pelo processo:

inteligencia_mercado_silver.itau_projecoes_cenario_brasil_mensal
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
indicador	Não	Não	-	-	varchar(100)	-	-	Sigla e ou Nome do Indicador Financeiro.
mes	Não	Não	-	-	varchar(10)	-	-	Mês de Referência do Indicador Financeiro.
valor	Não	Não	-	-	varchar(50)	-	-	Valor de Referência do Indicador Financeiro.
data_carga	Não	Não	-	-	varchar(10)	-	-	Data da carga dos registros na tabela correspondente da Bronze.
mes_referencia	Não	Não	-	-	varchar(10)	-	-	Primeiro dia do mês de Referência do arquivo publicado
ts_incl_reg	Não	Não	-	-	timestamp	-	-	Momento da inclusão do registro, para auditoria.
ts_alt_reg	Não	Não	-	-	timestamp	-	-	Momento da alteração do registro, para auditoria.

inteligencia_mercado_silver.itau_projecoes_cenario_brasil_trimestral
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
indicador_prefixo	Não	Não	-	-	varchar(50)	-	-	Sigla e ou Nome do Indicador Financeiro.
indicador_sufixo	Não	Não	-	-	varchar(50)	-	-	Informação adicional do Indicador Financeiro.
trimestre	Não	Não	-	-	varchar(25)	-	-	Ano e Trimestre de Referência do Indicador Financeiro.
valor	Não	Não	-	-	varchar(50)	-	-	Valor de Referência do Indicador Financeiro.
data_carga	Não	Não	-	-	varchar(10)	-	-	Data da carga dos registros na tabela
mes_referencia	Não	Não	-	-	varchar(10)	-	-	Primeiro dia do mes de Referencia do arquivo publicado
ts_incl_reg	Não	Não	-	-	timestamp	-	-	Momento da inclusão do registro, para auditoria.
ts_alt_reg	Não	Não	-	-	timestamp	-	-	Momento da alteração do registro, para auditoria.

inteligencia_mercado_silver.itau_projecoes_longo_prazo_anual
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
indicador	Não	Não	-	-	date	-	-	Sigla e ou Nome do Indicador Financeiro.
ano	Não	Não	-	-	string	-	-	Ano de Referência do Indicador Financeiro.
valor	Não	Não	-	-	double	-	-	Valor de Referência do Indicador Financeiro.
data_carga	Não	Não	-	-	double	-	-	Data da carga dos registros na tabela correspondente da Bronze.
mes_referencia	Não	Não	-	-	timestamp	-	-	Primeiro dia do mês de Referência do arquivo publicado.
ts_incl_reg	Não	Não	-	-	timestamp	-	-	Momento da inclusão do registro, para auditoria.
ts_alt_reg	Não	Não	-	-	timestamp	-	-	Momento da alteração do registro, para auditoria.

tendencias.tendencias_indicadores_base_silver
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
ticker	Não	Não	-	-	string	-	-	Identificador único do Indicador, na API da Tendências.
descricao	Não	Não	-	-	string	-	-	Descrição do Indicador.
dt_referencia	Não	Não	-	-	date	-	-	Data correspondente ao mês de Referência do Indicador.
valor	Não	Não	-	-	double	-	-	Valor do Indicador, conforme publicado pela Tendências.
sn_dessazonalizado	Não	Não	-	-	boolean	-	-	Flag indicativa se trata-se de valor regular ou sazonal do Indicador.
dt_carga	Não	Não	-	-	date	-	-	Data da carga do Indicador, na Bronze.
ts_incl_reg	Não	Não	-	-	timestamp	-	-	Momento da inclusão do registro, para auditoria.
ts_alt_reg	Não	Não	-	-	timestamp	-	-	Momento da alteração do registro, para auditoria.

tendencias.tendencias_projecoes_silver
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
ticker	Não	Não	-	-	string	-	-	Identificador único do Indicador, na API da Tendências.
descricao	Não	Não	-	-	string	-	-	Descrição do Indicador.
dt_referencia	Não	Não	-	-	date	-	-	Data correspondente ao mês de Referência do Indicador.
valor	Não	Não	-	-	double	-	-	Valor do Indicador, conforme publicado pela Tendências.
sn_dessazonalizado	Não	Não	-	-	boolean	-	-	Flag indicativa se trata-se de valor regular ou sazonal do Indicador.
dt_carga	Não	Não	-	-	date	-	-	Data da carga do Indicador, na Bronze.
ts_incl_reg	Não	Não	-	-	timestamp	-	-	Momento da inclusão do registro, para auditoria.
ts_alt_reg	Não	Não	-	-	timestamp	-	-	Momento da alteração do registro, para auditoria.