Coletor Google Trends
- Paulo Gomes Werneck Junior (Unlicensed)
Esta página tem como finalidade documentar o processo de coleta dos dados oriundos do Google Trends.
A extração dos dados foi realizada utilizando linguagem de programação Python com framework Spark, e a para a comunição com o Google Trends foi utilizado a lib pytrends, que permite a interação com a API de forma simplificada.
Databricks:
Relação de Jobs x Notebooks que compõem o processo:
Job | Notebook | Periodicidade | Notebook | Parâmetros | Repositório |
|---|---|---|---|---|---|
coletor_google_trends | coletor-api-google-trends | Mensal | coletor-api-google-trends | Task #1: coletor_google_trends_marca {
"database": "google_trends",
"table": "gtrend_indice_marca",
"words": "Deca,Docol,Portinari,Portobello,Hydra"
}Task #2: coletor_google_trends_produto {
"database": "google_trends",
"table": "gtrend_indice_produto",
"words": "Pia,Torneira,Porcelanato,Chuveiro,MDF"
}
| https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado.git |
Tabelas:
Lista de tabelas que compõem o processo:
google_trends.gtrend_indice_marca (Tabela contendo o total de pesquisas realizadas por marcas) |  | |||||||
|---|---|---|---|---|---|---|---|---|
Field | Key | Not Null | Partition | Element | Type | Size | Decimal | Description |
dt_transacao | Não | Não | - | - | timestamp | - | - | Data da transação / pesquisa no google trends |
ds_marca | Não | Não | - | - | varchar | 50 | - | Items da pesquisa (marcas) no google trends |
qtd_buscas | Não | Não | - | - | smallint | - | - | Quantitativo de buscas realizadas no período |
google_trends.gtrend_indice_produto (Tabela contendo o total de pesquisas realizadas por produtos) |  | |||||||
|---|---|---|---|---|---|---|---|---|
Field | Key | Not Null | Partition | Element | Type | Size | Decimal | Description |
dt_transacao | Não | Não | - | - | timestamp | - | - | Data da transação / pesquisa no google trends |
ds_produto | Não | Não | - | - | varchar | 50 | - | Items da pesquisa (produto) no google trends |
qtd_buscas | Não | Não | - | - | smallint | - | - | Quantitativo de buscas realizadas no período |