Esta página tem como finalidade documentar o processo de coleta dos dados de planilhas presentes no Sharepoint.
...
Relação de Jobs x Notebooks que compõem o processo:
Databrics job: coletor_excel_sharepoint
...
mes_ytd
...
Não
...
Não
...
Não
...
...
date
...
...
...
inflacao_acumulada_reais_madeira
...
Não
...
Não
...
Não
...
...
double
...
...
...
inflacao_acumulada_reais_deca
...
Não
...
Não
...
Não
...
...
double
...
...
...
inflacao_acumulada_reais_rc
...
Não
...
Não
...
Não
...
...
double
...
...
...
inflacao_acumulada_reais_total
...
Não
...
Não
...
Não
...
...
double
...
...
| View file | ||
|---|---|---|
|
Task | Parâmetros | Periodicidade | Notebook | Repositório | ||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
coletor_economiaenergia_vs_poaeletrica |
| Diário (13 0 0 ? * *) | /analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint | https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/ | ||||||||||||
coletor_economia_marketvs_consensuspoa |
| Diário (13 0 0 ? * *) | /analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint | https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/ | ||||||||||||
coletor_hoffmarket_solucoesconsensus |
| Diário |
| Diário (13 0 0 ? * *) | /analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint | https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/ | ||||||||||
coletor_sellhoff_out_decasolucoes |
| Diário | /analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint | https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/ | coletor_investing_taxa_de_longo_prazo |
| Diário (13 0 0 ? * *) | /analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint ", | https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/ | |||||||
coletor_sell_out_deca |
| Diário (13 0 0 ? * *) | /analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint | https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/ | ||||||||||||
coletor_investing_taxa_de_longo_prazo |
| Diário | /analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint | https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/ |
Tabelas referentes ao job: coletor_excel_sharepoint
...
indicadores_mercado.economia_vs_poa
...
Field
...
Key
...
Not Null
...
Partition
...
Element
...
Type
...
Size
...
Decimal
...
Description
| Diário (13 0 0 ? * *) | /analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint | https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/ |
Tabelas referentes ao job: coletor_excel_sharepoint
indicadores_mercado.tb_energia_eletrica | ||||||||
|---|---|---|---|---|---|---|---|---|
Field | Key | Not Null | Partition | Element | Type | Size | Decimal | Description |
mes | Não | Não | Não |
| date |
|
|
ebitda_2022
Não
Não
Não
smallint
energia_eletrica_brasil | Não | Não | Não |
|
smallint
ebitda_2024
Não
Não
Não
smallint
ebitda_2025
Não
Não
Não
smallint
ebitda_2026
Não
Não
Não
smallint
ev_ebitda
Não
Não
Não
float
media_5y
Não
Não
Não
float
maior_1dp
Não
Não
Não
float
menor_1dp
Não
Não
Não
float
| View file | ||
|---|---|---|
|
...
indicadores_mercado.hoff_solucoes
...
Field
...
Key
...
Not Null
...
Partition
...
Element
...
Type
...
Size
...
Decimal
...
Description
...
data
...
Não
...
Não
...
Não
...
...
date
...
...
...
ano
...
Não
...
Não
...
Não
...
...
smallint
...
...
...
proj_arquit
...
Não
...
Não
...
Não
...
...
int
...
...
...
proj_arquit_reformas
...
Não
...
Não
...
Não
...
...
int
...
...
...
proj_arquit_empreendimentos
...
Não
...
Não
...
Não
...
...
int
...
...
...
proj_arquit_reformas_pf
...
Não
...
Não
...
Não
...
...
int
...
proj_arquit_reformas_pj
...
Não
...
Não
...
Não
...
...
int
...
proj_arquit_reformas_2019_10
...
Não
...
Não
...
Não
...
...
int
...
proj_arquit_empreendimentos_2019_100
...
Não
...
Não
...
Não
...
...
int
...
proj_arquit_empreendimentos_n
...
Não
...
Não
...
Não
...
...
int
...
proj_arquit_empreendimentos_ne
...
Não
...
Não
...
Não
...
...
int
...
proj_arquit_empreendimentos_co
...
Não
...
Não
...
Não
...
...
int
...
proj_arquit_empreendimentos_se
...
Não
...
Não
...
Não
...
...
int
...
proj_arquit_empreendimentos_s
...
Não
...
Não
...
Não
...
...
int
...
ano2
...
Não
...
Não
...
Não
...
...
int
...
proj_arquit_reformas_ano
...
Não
...
Não
...
Não
...
...
string
...
proj_arquit_empreendimentos_ano
...
Não
...
Não
...
Não
...
...
string
| View file | ||
|---|---|---|
|
...
indicadores_mercado.tb_sell_out_deca
...
Field
...
Key
...
Not Null
...
Partition
...
Element
...
Type
...
Size
...
Decimal
...
Description
...
ano
...
Não
...
Não
...
Não
...
...
string
...
...
...
mes
...
Não
...
Não
...
Não
...
...
string
...
...
...
ano_mes
...
Não
...
Não
...
Não
...
...
string
...
...
...
Sellout_Metais
...
Não
...
Não
...
Não
...
...
float
...
...
...
Sellout_Loucas
...
Não
...
Não
...
Não
...
...
float
...
...
...
Sellout_Hydra
...
Não
...
Não
...
Não
...
...
float
...
Sellout_RC
...
Não
...
Não
...
Não
...
...
float
| View file | ||
|---|---|---|
|
...
investing.tb_brazil_10_year_bond_yield_sharepoint_silver
...
Field
...
Key
...
Not Null
...
Partition
...
Element
...
Type
...
Size
...
Decimal
...
Description
...
Data
...
Não
...
Não
...
Não
...
...
date
...
...
...
10y_Brazilian_Bond
...
Não
...
Não
...
Não
...
...
double
Databricks job: coletor_excel_sharepoint_bases_modelos_projecao
...
Task
...
Parâmetros
...
Periodicidade
...
Notebook
...
Repositório
...
coletor_demanda_deca
...
| Code Block | ||
|---|---|---|
| ||
{
"database": "bases_modelos_projecoes",
"base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
"schema": "{'Data':'date','Metais_Basicos':'int','Metais_Competitivos':'int','Metais_Medio_Luxo':'int','Metais_Exportacao':'int','Loucas_Bacias_Competitivas':'int','Loucas_Bacias_Izy':'int','Loucas_Bacias_Medio_Luxo':'int','Loucas_Cubas':'int','Loucas_Outros':'int','Loucas_Exportacao':'int','Chuveiros_Duchas':'int','Chuveiros_Torneiras_Eletricas':'int','Chuveiros_Torneiras_Plasticas':'int','Chuveiros_Outros':'int','Chuveiros_Exportacao':'int'}",
"remove_columns": "[]",
"file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Demanda Deca.xlsx",
"sheet_name": "Onda3",
"remove_lines": "[0]",
"table": "demanda_deca"
} |
...
Diário
...
/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint
...
https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/
...
coletor_demanda_madeira
...
| Code Block | ||
|---|---|---|
| ||
{
"database": "bases_modelos_projecoes",
"base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
"schema": "{'Data':'date','MDP_Revestido':'int','MDP_Cru':'int','MDF_Revestido':'int','MDF_Cru':'int'}",
"remove_columns": "[]",
"file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Demanda Madeira.xlsx",
"sheet_name": "Onda3",
"remove_lines": "[0]",
"table": "demanda_madeira"
} |
...
Diário
...
/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint
...
https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/
...
coletor_demanda_rc
...
| Code Block | ||
|---|---|---|
| ||
{
"database": "bases_modelos_projecoes",
"base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
"schema": "{'Data':'date','Porcelanato':'int'}",
"remove_columns": "[]",
"file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Demanda RC.xlsx",
"sheet_name": "Onda3",
"remove_lines": "[0]",
"table": "demanda_rc"
} |
...
Diário
...
/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint
...
https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/
...
coletor_dias_de_estoque_deca
...
| Code Block | ||
|---|---|---|
| ||
{
"database": "bases_modelos_projecoes",
"base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
"schema": "{'Data':'date','Hydra':'int','Loucas':'int','Metais':'int','RC':'int'}",
"remove_columns": "[]",
"file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Dias de Estoque Deca.xlsx",
"sheet_name": "Onda3",
"remove_lines": "[0]",
"table": "dias_de_estoque_deca"
} |
...
Diário
...
/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint
...
https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/
...
coletor_dias_de_estoque_madeira
...
| Code Block | ||
|---|---|---|
| ||
{
"database": "bases_modelos_projecoes",
"base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
"schema": "{'Data':'date','Industria_PA':'int','Industria_Chapas':'int','Varejo_Madeirado':'int','Varejo_Brancos':'int'}",
"remove_columns": "[]",
"file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Dias de Estoque Madeira.xlsx",
"sheet_name": "Onda3",
"remove_lines": "[0]",
"table": "dias_de_estoque_madeira"
} |
...
Diário
...
/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint
...
https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/
...
coletor_projecoes_longo_prazo
...
| Code Block |
|---|
{
"database": "bases_modelos_projecoes",
"base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
"schema": "{'indices': 'string', '2015': 'double', '2016': 'double', '2017': 'double', '2018': 'double', '2019': 'double', '2020': 'double', '2021': 'double', '2022': 'double', '2023': 'double', '2024': 'double', '2025': 'double', '2026': 'double', '2027': 'double'}",
"remove_columns": "[]",
"file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Projeções-Longo-Prazo.xlsx",
"sheet_name": "Plan1",
"remove_lines": "[]",
"table": "projecoes_longo_prazo"
} |
...
Diário
...
/bronze/inteligencia-mercado/coletor-excel-sharepoint
Tabelas referentes ao job: coletor_excel_sharepoint_bases_modelos_projecao
double |
|
| ||||||
energia_eletrica_brasil_projecao | Não | Não | Não |
| double |
|
|
| View file | ||
|---|---|---|
|
indicadores_mercado.tb_economia_vs_poa | ||||||||
|---|---|---|---|---|---|---|---|---|
Field | Key | Not Null | Partition | Element | Type | Size | Decimal | Description |
mes_ytd | Não | Não | Não |
| date |
|
| |
inflacao_acumulada_reais_madeira | Não | Não | Não |
| double |
|
| |
inflacao_acumulada_reais_deca | Não | Não | Não |
| double |
|
| |
inflacao_acumulada_reais_rc | Não | Não | Não |
|
double |
|
|
inflacao_acumulada_reais_total | Não | Não | Não |
|
double |
|
|
perc_spend_ |
total | Não | Não | Não | double |
...
| View file |
|---|
...
...
...
Metais_Medio_Luxo
...
Não
...
Não
...
Não
...
...
int
...
...
...
|
indicadores_mercado.tb_market_consensus | ||||||||
|---|---|---|---|---|---|---|---|---|
Field | Key | Not Null | Partition | Element | Type | Size | Decimal | Description |
data | Não | Não | Não |
| ||||
date |
|
|
ebitda_ |
2022 | Não | Não | Não |
| smallint |
|
|
ebitda_ |
2023 | Não | Não | Não |
|
bases_modelos_projecoes.demanda_madeira
Field
Key
Not Null
Partition
Element
Type
Size
Decimal
Description
smallint |
|
| View file | ||
|---|---|---|
|
| ||||||||
ebitda_2024 | Não | Não | Não |
| smallint |
|
| |
ebitda_2025 | Não | Não | Não |
|
smallint |
|
|
ebitda_ |
2026 | Não | Não | Não |
|
smallint | ||||
ev_ebitda | Não | Não | Não |
|
float |
media_ |
5y | Não | Não | Não |
|
int
float | ||||
maior_1dp | Não | Não | Não |
|
int
float | ||||
menor_1dp | Não | Não | Não |
|
int
float |
| View file | ||
|---|---|---|
|
hoff_ |
|---|
solucoes. |
|---|
hoff_ |
|---|
solucoes | ||||||||
|---|---|---|---|---|---|---|---|---|
Field | Key | Not Null | Partition | Element | Type | Size | Decimal | Description |
data | Não | Não | Não |
| date |
|
|
ano | Não | Não | Não |
int
bases_modelos_projecoes.dias_de_estoque_deca
Field
Key
Not Null
Partition
Element
Type
Size
Decimal
Description
|
| View file | ||
|---|---|---|
|
smallint |
|
| ||||||
proj_arquit | Não | Não | Não |
| int |
|
| |
proj_arquit_reformas | Não | Não | Não |
|
int |
|
|
proj_arquit_empreendimentos | Não | Não | Não |
| int |
|
|
proj_arquit_reformas_pf | Não | Não | Não |
| int | |||
proj_arquit_reformas_pj | Não | Não | Não |
|
int | |||||
proj_arquit_reformas_2019_10 | Não | Não | Não |
| int |
RC
proj_arquit_empreendimentos_2019_100 | Não | Não | Não |
| int |
| View file | ||
|---|---|---|
|
bases_modelos_projecoes.dias_de_estoque_madeira
Field
Key
Not Null
Partition
Element
Type
Size
Decimal
Description
proj_arquit_empreendimentos_n | Não | Não | Não |
| int | |||
proj_arquit_empreendimentos_ne | Não | Não | Não |
| int | |||
proj_arquit_empreendimentos_co | Não | Não | Não |
|
date
int | |||||
proj_arquit_empreendimentos_se | Não | Não | Não |
| int |
proj_arquit_empreendimentos_s | Não | Não | Não |
| int |
ano2 | Não | Não | Não |
| int |
proj_arquit_reformas_ano | Não | Não | Não |
|
int
string | ||||
proj_arquit_empreendimentos_ano | Não | Não | Não |
|
...
string |
| View file | ||
|---|---|---|
|
indicadores_ |
|---|
mercado.tb_sell_out_deca | ||||||||
|---|---|---|---|---|---|---|---|---|
Field | Key | Not Null | Partition | Element | Type | Size | Decimal | Description |
ano | Não | Não | Não |
|
int |
|
|
mes | Não | Não | Não |
|
int |
|
|
ano_mes | Não | Não | Não |
|
string |
|
|
Sellout_Metais | Não | Não | Não |
|
float |
|
|
Sellout_Loucas | Não | Não | Não |
|
float |
|
|
Sellout_Hydra | Não | Não | Não |
|
float |
Sellout_RC | Não | Não | Não |
|
float |
...
2022
...
Não
...
Não
...
Não
...
...
double
...
2023
...
Não
...
Não
...
Não
...
...
double
...
2024
| View file |
|---|
...
Não
...
Não
...
Não
...
...
double
|
investing.tb_brazil_10_year_bond_yield_sharepoint_silver | ||||||||
|---|---|---|---|---|---|---|---|---|
Field | Key | Not Null | Partition | Element | Type | Size | Decimal | Description |
Data | Não | Não | Não |
| ||||
double
2025
Não
Não
date |
|
double
2026
Não
Não
Não
double
| ||||||||
10y_Brazilian_Bond | Não | Não | Não |
| double |
| View file | ||
|---|---|---|
|