Coletor API Tendências
- Paulo Gomes Werneck Junior (Unlicensed)
- Anonymous
Esta página tem como finalidade documentar o processo de coleta dos dados oriundos da API da Tendências.
A extração dos dados foi realizada utilizando linguagem de programação Python com framework Spark.
Este processo realiza apenas a coleta dos dados e os armazena no database/ tabela listados abaixo , processamentos que utilizem os dados da empresa Tendências devem utilizar a tabela criada nesse pipeline como base e incrementar os parâmetros de busca da API, caso necessário.
Databricks:
Relação de Jobs x Notebooks que compõem o processo:
Job | Parâmetros | Periodicidade | Notebook Path | Repositório |
|---|---|---|---|---|
coletor_api_tendencias (inteligencia-mercado_coletor_api_tendencias.json) | {
"base_url": "https://api.machina.tendencias.com.br/query",
"database": "tendencias",
"table": "tendencias_indicadores_base_bronze",
"tickers": "M11678 M11687 M11709 M2453 M2454 M3853 M3866 M44792 M44803 M5023 M7731 M84184 M85006 M85038 M85077 M85080 M85107 M85195 M85539 M85540 M86000 M86001 M86002 M86003 M86134 M86135 M86136 M86137 M86138 M86141 M86142 M86143 M86146 M86147 M86148 M86149 M86150 M86151 M86152 M86153 M86154 M86155 M86156 M86157 M86158 M86159 M86160 M86161 M86162 M86163 M86164 M86165 M86166 M86167 M86168 M86169 M86190 M86193 M86194 M86195 M86196 M86197 M86198 M86199 M86200 M86201 M86202 M86203 M86204 M86205 M86206 M83997 M83998"
} | Diariamente | coletor-api-tendencias (/bronze/inteligencia-mercado/coletor-api-tendencias) | https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado.git |
Secrets:
As secrets abaixo são pré-requisitos para o processo:
Scope | Key | Descrição |
|---|---|---|
API-TENDENCIA | EMAIL-USER | Usuário utilizado para autenticação na API |
API-TENDENCIA | EMAIL-PASS | Senha utilizada para autenticação na API |
Tabelas:
Lista de tabelas que compõem o processo:
tendencias.tendencias_indicadores_base_bronze (Tabela contendo os dados / indicadores da api da Tendências) |  | |||||||
|---|---|---|---|---|---|---|---|---|
Field | Key | Not Null | Partition | Element | Type | Size | Decimal | Description |
ticker | Não | Não | Não |
| varchar | 10 |
| Identificador do indicador gerenciado pela tendências |
descricao | Não | Não | Não |
| varchar | 150 |
| Descrição do indicador |
dt_ref_historico | Não | Não | Não |
| varchar | 20 |
| Data de referência historica do indicador |
vl_historico | Não | Não | Não |
| varchar | 20 |
| Valor do historico indicador |
sn_historico_dessaz | Não | Não | Não |
| boolean |
|
| Indica se o historico é ou não dessazonalizado |
dt_ref_projecao | Não | Não | Não |
| varchar | 20 |
| Data de referência da indicador |
vl_projecao | Não | Não | Não |
| varchar | 20 |
| Valor da projeção |
sn_projecao_dessaz | Não | Não | Não |
| boolean |
|
| Indica se a projecao é ou não dessazonalizada |
dt_carga | Não | Não | Não |
| date |
|
| Data da carga dos dados |