/
Log de Indicadores

Este processo de transformação de dados para consumo pelas áreas interessadas, lê de diversas tabelas no database inteligencia_mercado_gold, e processa seus dados, populando as tabelas inteligencia_mercado_gold.log_indicadores_hist e inteligencia_mercado_gold.log_indicadores, na camada Gold.

Os logs de indicadores são segmentados entre atualizações do dia e demais atualizações, por meio da coluna dt_atualizacao e são ordenadas decrescentemente pelo maior valor entre ts_incl_reg e ts_alt_reg, de modo que os logs de indicadores incluídos ou alterados mais recentemente sejam exibidas primeiro.


Databricks:

Relação de Jobs x Notebooks que compõem o processo:

Job

Periodicidade

Task

Notebook

Parâmetros

Repositório

inteligencia-mercado_log_indicadores

Diário, às 7h45
(0 45 7 * * ?)

atualiza_log_indicadores

/gold/inteligencia-mercado/atualiza_log_indicadores

Nenhum

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado.git

Obs.: este notebook ​Emoji :point_right: é chamado para cada indicador que precise ter o log registrado, quando forem identificadas mudanças

/gold/inteligencia-mercado/log_indicadores

Nenhum

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado.git

 

Tabelas:

Lista de tabelas geradas pelo processo:

inteligencia_mercado_gold.log_indicadores_hist

(Tabela contendo os logs de Indicadores incluídos ou alterados)


Field

Key

Not Null

Partition

Element

Type

Size

Decimal

Description

ds_indicador

Não

Não

-

-

string

-

-

Nome de exibição do Indicador.

ds_origem

Não

Não

-

-

string

-

-

Nome da entidade responsável pela publicação do Indicador.

dt_referencia

Não

Não

-

-

string

-

-

Data de referência do indicador.

vl_atual

Não

Não

-

-

string

-

-

Valor do indicador, na data de referência.

ds_un_medida

Não

Não

-

-

string

-

-

Unidade de medida em que o indicador é exibido.

dt_referencia_anterior

Não

Não

-

-

string

-

-

Data de referência do indicador, no período anterior.

vl_anterior

Não

Não

-

-

string

-

-

Valor do indicador, no período anterior.

ds_un_medida_anterior

Não

Não

-

-

string

-

-

Unidade de medida em que a variação do indicador em relação ao período anterior é exibida.

dt_referencia_ano_anterior

Não

Não

-

-

string

-

-

Data de referência do indicador, no ano anterior.

vl_ano_anterior

Não

Não

-

-

string

-

-

Valor do indicador, no ano anterior.

ds_un_medida_ano_anterior

Não

Não

-

-

string

-

-

Unidade de medida em que a variação do indicador em relação ao ano anterior é exibida.

dt_atualizacao

Não

Não

-

-

date

-

-

Data referente à atualização dos dados históricos do indicador.

ts_incl_reg

Não

Não

-

-

timestamp

-

-

Momento da inclusão do registro, para auditoria.

ts_alt_reg

Não

Não

-

-

timestamp

-

-

Momento da alteração do registro, para auditoria.


inteligencia_mercado_gold.log_indicadores

(Tabela contendo a última versão dos logs de Indicadores incluídos ou alterados)


Field

Key

Not Null

Partition

Element

Type

Size

Decimal

Description

dt_atualizacao

Não

Não

-

-

date

-

-

Data referente à atualização dos dados do indicador.

ord

Não

Não

-

-

int

-

-

Ordem de exibição do indicador, para facilitar a visualização.

ds_indicador

Não

Não

-

-

string

-

-

Nome de exibição do Indicador.

ds_origem

Não

Não

-

-

string

-

-

Nome da entidade responsável pela publicação do Indicador.

dt_referencia

Não

Não

-

-

string

-

-

Data de referência do indicador.

vl_atual

Não

Não

-

-

string

-

-

Valor do indicador, na data de referência.

ds_un_medida

Não

Não

-

-

string

-

-

Unidade de medida em que o indicador é exibido.

dt_referencia_anterior

Não

Não

-

-

string

-

-

Data de referência do indicador, no período anterior.

vl_anterior

Não

Não

-

-

string

-

-

Valor do indicador, no período anterior.

ds_un_medida_anterior

Não

Não

-

-

string

-

-

Unidade de medida em que a variação do indicador em relação ao período anterior é exibida.

dt_referencia_ano_anterior

Não

Não

-

-

string

-

-

Data de referência do indicador, no ano anterior.

vl_ano_anterior

Não

Não

-

-

string

-

-

Valor do indicador, no ano anterior.

ds_un_medida_ano_anterior

Não

Não

-

-

string

-

-

Unidade de medida em que a variação do indicador em relação ao ano anterior é exibida.

ts_incl_reg

Não

Não

-

-

timestamp

-

-

Momento da inclusão do registro, para auditoria.

ts_alt_reg

Não

Não

-

-

timestamp

-

-

Momento da alteração do registro, para auditoria.