Esta página tem como finalidade documentar o processo de coleta dos dados de planilhas presentes no Sharepoint.
...
Relação de Jobs x Notebooks que compõem o processo:
Databrics job: coletor_excel_sharepoint
Task | Parâmetros | Periodicidade | Notebook | Repositório | |||||
|---|---|---|---|---|---|---|---|---|---|
coletor_energia_eletrica |
| Diário (13 0 0 ? * *) | /analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint | https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/ | |||||
coletor_economia_vs_poa |
| Diário (13 0 0 ? * *) | /analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint | https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/ | |||||
coletor_market_consensus |
| Diário (13 0 0 ? * *) | /analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint | https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/ | |||||
coletor_hoff_solucoes |
| Diário (13 0 0 ? * *) | /analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint | https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/ | |||||
coletor_sell_out_deca |
| Diário (13 0 0 ? * *) | /analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint | https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/ | |||||
coletor_investing_taxa_de_longo_prazo |
| Diário (13 0 0 ? * *) | /analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint | https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/ |
...
Tabelas referentes ao job: coletor_excel_sharepoint
indicadores_mercado.tb_energia_eletrica | ||||||||
|---|---|---|---|---|---|---|---|---|
Field | Key | Not Null | Partition | Element | Type | Size | Decimal | Description |
mes | Não | Não | Não |
| date |
|
| |
energia_eletrica_brasil | Não | Não | Não |
| double |
|
| |
energia_eletrica_brasil_projecao | Não | Não | Não |
| double |
|
| |
...
| View file | ||
|---|---|---|
|
Databricks job: coletor_excel_sharepoint_bases_modelos_projecao
...
Task
...
Parâmetros
...
Periodicidade
...
Notebook
...
Repositório
...
coletor_demanda_deca
...
| Code Block | ||
|---|---|---|
| ||
{
"database": "bases_modelos_projecoes",
"base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
"schema": "{'Data':'date','Metais_Basicos':'int','Metais_Competitivos':'int','Metais_Medio_Luxo':'int','Metais_Exportacao':'int','Loucas_Bacias_Competitivas':'int','Loucas_Bacias_Izy':'int','Loucas_Bacias_Medio_Luxo':'int','Loucas_Cubas':'int','Loucas_Outros':'int','Loucas_Exportacao':'int','Chuveiros_Duchas':'int','Chuveiros_Torneiras_Eletricas':'int','Chuveiros_Torneiras_Plasticas':'int','Chuveiros_Outros':'int','Chuveiros_Exportacao':'int'}",
"remove_columns": "[]",
"file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Demanda Deca.xlsx",
"sheet_name": "Onda3",
"remove_lines": "[0]",
"table": "demanda_deca"
} |
...
Diário
(13 0 1 ? * *)
...
/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint
...
https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/
...
coletor_demanda_rc
...
| Code Block | ||
|---|---|---|
| ||
{
"database": "bases_modelos_projecoes",
"base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
"schema": "{'Data':'date','Porcelanato':'int'}",
"remove_columns": "[]",
"file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Demanda RC.xlsx",
"sheet_name": "Onda3",
"remove_lines": "[0]",
"table": "demanda_rc"
} |
...
Diário
(13 0 1 ? * *)
...
/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint
...
https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/
...
coletor_demanda_deca_anual
...
| Code Block |
|---|
{
"database": "bases_modelos_projecoes",
"base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
"schema": "{'data': 'string', 'Metais_MI_Total': 'float', 'Loucas_MI_Total': 'float'}",
"remove_columns": "['Unnamed: 3']",
"file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Demanda Deca_Anual.xlsx",
"sheet_name": "Sheet1",
"remove_lines": "[0]",
"table": "demanda_deca_anual"
} |
...
Diário
(13 0 1 ? * *)
...
/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint
...
https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/
...
coletor_projecoes_longo_prazo
...
| Code Block |
|---|
{
"database": "bases_modelos_projecoes",
"base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
"schema": "{'indices': 'string', '2009': 'double', '2010': 'double', '2011': 'double', '2012': 'double', '2013': 'double', '2014': 'double', '2015': 'double', '2016': 'double', '2017': 'double', '2018': 'double', '2019': 'double', '2020': 'double', '2021': 'double', '2022': 'double', '2023': 'double', '2024': 'double', '2025': 'double', '2026': 'double', '2027': 'double'}",
"remove_columns": "[]",
"file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Projeções-Longo-Prazo.xlsx",
"sheet_name": "Plan1",
"remove_lines": "[]",
"table": "projecoes_longo_prazo"
} |
...
Diário
(13 0 1 ? * *)
...
/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint
...
https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/
Tabelas referentes ao job: coletor_excel_sharepoint_bases_modelos_projecao
...
bases_modelos_projecoes.demanda_deca
...
Field
...
Key
...
Not Null
...
Partition
...
Element
...
Type
...
Size
...
Decimal
...
Description
...
Data
...
Não
...
Não
...
Não
...
...
date
...
...
...
Metais_Basicos
...
Não
...
Não
...
Não
...
...
int
...
...
...
Metais_Competitivos
...
Não
...
Não
...
Não
...
...
int
...
...
...
Metais_Medio_Luxo
...
Não
...
Não
...
Não
...
...
int
...
...
...
Metais_Exportacao
...
Não
...
Não
...
Não
...
...
int
...
...
...
Loucas_Bacias_Competitivas
...
Não
...
Não
...
Não
...
...
int
...
Loucas_Bacias_Izy
...
Não
...
Não
...
Não
...
...
int
...
Loucas_Bacias_Medio_Luxo
...
Não
...
Não
...
Não
...
...
int
...
Loucas_Cubas
...
Não
...
Não
...
Não
...
...
int
...
Loucas_Outros
...
Não
...
Não
...
Não
...
...
int
...
Loucas_Exportacao
...
Não
...
Não
...
Não
...
...
int
...
Chuveiros_Duchas
...
Não
...
Não
...
Não
...
...
int
...
Chuveiros_Torneiras_Eletricas
...
Não
...
Não
...
Não
...
...
int
...
Chuveiros_Torneiras_Plasticas
...
Não
...
Não
...
Não
...
...
int
...
Chuveiros_Outros
...
Não
...
Não
...
Não
...
...
int
...
Chuveiros_Exportacao
...
Não
...
Não
...
Não
...
...
int
| View file | ||
|---|---|---|
|
...
bases_modelos_projecoes.demanda_rc
...
Field
...
Key
...
Not Null
...
Partition
...
Element
...
Type
...
Size
...
Decimal
...
Description
...
Data
...
Não
...
Não
...
Não
...
...
date
...
...
...
Porcelanato
...
Não
...
Não
...
Não
...
...
int
...
...
| View file | ||
|---|---|---|
|
...
bases_modelos_projecoes.coletor_demanda_deca_anual
...
Field
...
Key
...
Not Null
...
Partition
...
Element
...
Type
...
Size
...
Decimal
...
Description
...
data
...
Não
...
Não
...
Não
...
...
string
...
...
...
Metais_MI_Total
...
Não
...
Não
...
Não
...
...
float
...
...
...
Loucas_MI_Total
...
Não
...
Não
...
Não
...
...
float
...
...
| View file | ||
|---|---|---|
|
...
bases_modelos_projecoes.projecoes_longo_prazo
...
Field
...
Key
...
Not Null
...
Partition
...
Element
...
Type
...
Size
...
Decimal
...
Description
...
indice
...
Não
...
Não
...
Não
...
...
string
...
...
...
2009
...
Não
...
Não
...
Não
...
...
double
...
2010
...
Não
...
Não
...
Não
...
...
double
...
2011
...
Não
...
Não
...
Não
...
...
double
...
2012
...
Não
...
Não
...
Não
...
...
double
...
2013
...
Não
...
Não
...
Não
...
...
double
...
2014
...
Não
...
Não
...
Não
...
...
double
...
2015
...
Não
...
Não
...
Não
...
...
double
...
...
...
2016
...
Não
...
Não
...
Não
...
...
double
...
...
...
2017
...
Não
...
Não
...
Não
...
...
double
...
...
...
2018
...
Não
...
Não
...
Não
...
...
double
...
...
...
2019
...
Não
...
Não
...
Não
...
...
double
...
2020
...
Não
...
Não
...
Não
...
...
double
...
2021
...
Não
...
Não
...
Não
...
...
double
...
2022
...
Não
...
Não
...
Não
...
...
double
...
2023
...
Não
...
Não
...
Não
...
...
double
...
2024
...
Não
...
Não
...
Não
...
...
double
...
2025
...
Não
...
Não
...
Não
...
...
double
...
2026
...
Não
...
Não
...
Não
...
...
double
...
2027
...
Não
...
Não
...
Não
...
...
double
| View file | ||
|---|---|---|
|