Log de Indicadores

Este processo de transformação de dados para consumo pelas áreas interessadas, lê de diversas tabelas no database inteligencia_mercado_gold, e processa seus dados, populando as tabelas inteligencia_mercado_gold.log_indicadores_hist e inteligencia_mercado_gold.log_indicadores, na camada Gold.

Os logs de indicadores são segmentados entre atualizações do dia e demais atualizações, por meio da coluna dt_atualizacao e são ordenadas decrescentemente pelo maior valor entre ts_incl_reg e ts_alt_reg, de modo que os logs de indicadores incluídos ou alterados mais recentemente sejam exibidas primeiro.

Databricks:

Relação de Jobs x Notebooks que compõem o processo:

Job	Periodicidade	Task	Notebook	Parâmetros	Repositório

Job	Periodicidade	Task	Notebook	Parâmetros	Repositório
inteligencia-mercado_log_indicadores	Diário, às 7h45 (0 45 7 * * ?)	atualiza_log_indicadores	/gold/inteligencia-mercado/atualiza_log_indicadores	Nenhum	https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado.git
Obs.: este notebook é chamado para cada indicador que precise ter o log registrado, quando forem identificadas mudanças			/gold/inteligencia-mercado/log_indicadores	Nenhum	https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado.git

Tabelas:

Lista de tabelas geradas pelo processo:

inteligencia_mercado_gold.log_indicadores_hist (Tabela contendo os logs de Indicadores incluídos ou alterados)

inteligencia_mercado_gold.log_indicadores_hist (Tabela contendo os logs de Indicadores incluídos ou alterados)
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
ds_indicador	Não	Não	-	-	string	-	-	Nome de exibição do Indicador.
ds_origem	Não	Não	-	-	string	-	-	Nome da entidade responsável pela publicação do Indicador.
dt_referencia	Não	Não	-	-	string	-	-	Data de referência do indicador.
vl_atual	Não	Não	-	-	string	-	-	Valor do indicador, na data de referência.
ds_un_medida	Não	Não	-	-	string	-	-	Unidade de medida em que o indicador é exibido.
dt_referencia_anterior	Não	Não	-	-	string	-	-	Data de referência do indicador, no período anterior.
vl_anterior	Não	Não	-	-	string	-	-	Valor do indicador, no período anterior.
ds_un_medida_anterior	Não	Não	-	-	string	-	-	Unidade de medida em que a variação do indicador em relação ao período anterior é exibida.
dt_referencia_ano_anterior	Não	Não	-	-	string	-	-	Data de referência do indicador, no ano anterior.
vl_ano_anterior	Não	Não	-	-	string	-	-	Valor do indicador, no ano anterior.
ds_un_medida_ano_anterior	Não	Não	-	-	string	-	-	Unidade de medida em que a variação do indicador em relação ao ano anterior é exibida.
dt_atualizacao	Não	Não	-	-	date	-	-	Data referente à atualização dos dados históricos do indicador.
ts_incl_reg	Não	Não	-	-	timestamp	-	-	Momento da inclusão do registro, para auditoria.
ts_alt_reg	Não	Não	-	-	timestamp	-	-	Momento da alteração do registro, para auditoria.

inteligencia_mercado_gold.log_indicadores (Tabela contendo a última versão dos logs de Indicadores incluídos ou alterados)

inteligencia_mercado_gold.log_indicadores (Tabela contendo a última versão dos logs de Indicadores incluídos ou alterados)
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
dt_atualizacao	Não	Não	-	-	date	-	-	Data referente à atualização dos dados do indicador.
ord	Não	Não	-	-	int	-	-	Ordem de exibição do indicador, para facilitar a visualização.
ds_indicador	Não	Não	-	-	string	-	-	Nome de exibição do Indicador.
ds_origem	Não	Não	-	-	string	-	-	Nome da entidade responsável pela publicação do Indicador.
dt_referencia	Não	Não	-	-	string	-	-	Data de referência do indicador.
vl_atual	Não	Não	-	-	string	-	-	Valor do indicador, na data de referência.
ds_un_medida	Não	Não	-	-	string	-	-	Unidade de medida em que o indicador é exibido.
dt_referencia_anterior	Não	Não	-	-	string	-	-	Data de referência do indicador, no período anterior.
vl_anterior	Não	Não	-	-	string	-	-	Valor do indicador, no período anterior.
ds_un_medida_anterior	Não	Não	-	-	string	-	-	Unidade de medida em que a variação do indicador em relação ao período anterior é exibida.
dt_referencia_ano_anterior	Não	Não	-	-	string	-	-	Data de referência do indicador, no ano anterior.
vl_ano_anterior	Não	Não	-	-	string	-	-	Valor do indicador, no ano anterior.
ds_un_medida_ano_anterior	Não	Não	-	-	string	-	-	Unidade de medida em que a variação do indicador em relação ao ano anterior é exibida.
ts_incl_reg	Não	Não	-	-	timestamp	-	-	Momento da inclusão do registro, para auditoria.
ts_alt_reg	Não	Não	-	-	timestamp	-	-	Momento da alteração do registro, para auditoria.

Arquitetura e Governança D&A

Log de Indicadores

Analytics

(Tabela contendo os logs de Indicadores incluídos ou alterados)

(Tabela contendo os logs de Indicadores incluídos ou alterados)

(Tabela contendo a última versão dos logs de Indicadores incluídos ou alterados)

(Tabela contendo a última versão dos logs de Indicadores incluídos ou alterados)

Related content