Coletor API Tendências

Esta página tem como finalidade documentar o processo de coleta dos dados oriundos da API da Tendências.

A extração dos dados foi realizada utilizando linguagem de programação Python com framework Spark.

Este processo realiza apenas a coleta dos dados e os armazena no database/ tabela listados abaixo , processamentos que utilizem os dados da empresa Tendências devem utilizar a tabela criada nesse pipeline como base e incrementar os parâmetros de busca da API, caso necessário.

Databricks:

Relação de Jobs x Notebooks que compõem o processo:

Job

Parâmetros

Periodicidade

Notebook

Repositório

coletor_api_tendencias

{
  "base_url": "https://api.machina.tendencias.com.br/query",
  "database": "tendencias",
  "table": "tendencias_indicadores_base_bronze",
  "tickers": "M86001 M86002 M86003 M86000 M7731 M85107 M85080 M5023 M11709 M11687 M85195 M2454 M44803 M44792 M84184 M3866 M2453 M86134 M86135 M86136 M86137 M86138 M86141 M86142 M86143 M86146 M86147 M86148 M86149 M86150 M86151 M86152 M86153 M86154 M86155 M86156 M86157 M86158 M86159 M86160 M86161 M86162 M86163 M86164 M86165 M86166 M86167 M86168 M86169"
}

Diariamente
(56 0 7 * * ?)

coletor-api-tendencias

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado.git

Tabelas:

Lista de tabelas que compõem o processo:

tendencias.tendencias_indicadores_base_bronze (Tabela contendo os dados / indicadores da api da Tendências)
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
ticker	Não	Não	Não		varchar	10		Identificador do indicador gerenciado pela tendências
descricao	Não	Não	Não		varchar	100		Descrição do indicador
dt_ref_historico	Não	Não	Não		varchar	20		Data de referência historica do indicador
vl_historico	Não	Não	Não		varchar	20		Valor do historico indicador
sn_historico_dessaz	Não	Não	Não		boolean			Indica se o historico é ou não dessazonalizado
dt_ref_projecao	Não	Não	Não		varchar	20		Data de referência da indicador
vl_projecao	Não	Não	Não		varchar	20		Valor da projeção
sn_projecao_dessaz	Não	Não	Não		boolean			Indica se a projecao é ou não dessazonalizada
dt_carga	Não	Não	Não		date			Data da carga dos dados

Coletor API Tendências

(Tabela contendo os dados / indicadores da api da Tendências)

0 Comments