Coletor API Tendências

Esta página tem como finalidade documentar o processo de coleta dos dados oriundos da API da Tendências.

A extração dos dados foi realizada utilizando linguagem de programação Python com framework Spark.

Este processo realiza apenas a coleta dos dados e os armazena no database/ tabela listados abaixo , processamentos que utilizem os dados da empresa Tendências devem utilizar a tabela criada nesse pipeline como base e incrementar os parâmetros de busca da API, caso necessário.

Databricks:

Relação de Jobs x Notebooks que compõem o processo:

Job

Parâmetros

Periodicidade

Notebook

Repositório

coletor_api_tendencias

{
  "base_url": "https://api.machina.tendencias.com.br/query",
  "database": "tendencias",
  "table": "tendencias_indicadores_base",
  "tickers": "M86001 M86002 M86003 M86000 M7731 M85107 M85080 M5023 M11709 M11687 M85195 M2454 M44803 M44792 M84184 M3866 M2453"
}

Diariamente
(56 0 7 * * ?)

coletor-api-tendencias

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado.git

Tabelas:

Lista de tabelas que compõem o processo:

tendencias.tendencias_indicadores_base (Tabela contendo os dados / indicadores da api da Tendências)
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
ticker	Não	Não	Não		varchar(10)			Identificador do indicador gerenciado pela tendências
descricao	Não	Não	Não		varchar(100)			Descrição do indicador
dt_referencia	Não	Não	Não		varchar(20)			Data de referência do indicador
valor	Não	Não	Não		varchar(20)			Valor do indicador
sn_dessazonalizado	Não	Não	Não		boolean			Indica se o dado é ou não dessazonalizado
dt_carga	Não	Não	Não		date			Data da carga dos dados

Coletor API Tendências

(Tabela contendo os dados / indicadores da api da Tendências)