Esta página tem como finalidade documentar o processo de coleta dos dados de planilhas presentes no Sharepoint.
...
Relação de Jobs x Notebooks que compõem o processo:
Databrics job: coletor_excel_sharepoint
Task | Parâmetros | Periodicidade | Notebook | Repositório | ||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
coletor_economiaenergia_vs_poaeletrica |
| Diário (13 0 0 ? * *) | /analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint | https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/ | ||||||||
coletor_marketeconomia_vs_consensuspoa |
| Diário (13 0 0 ? * *) | /analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint | https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/ | ||||||||
coletor_hoffmarket_solucoesconsensus |
| Diário (13 0 0 ? * *) | /analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint | https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/ | ||||||||
coletor_sellhoff_out_decasolucoes |
| Diário |
| Diário (13 0 0 ? * *) | /analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint | https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/ |
...
coletor_ |
...
sell_ |
...
indicadores_mercado.economia_vs_poa
...
Field
...
Key
...
Not Null
...
Partition
...
Element
...
Type
...
Size
...
Decimal
...
Description
...
mes_ytd
...
Não
...
Não
...
Não
...
...
date
...
...
...
inflacao_acumulada_reais_madeira
...
Não
...
Não
...
Não
...
...
double
...
...
...
inflacao_acumulada_reais_deca
...
Não
...
Não
...
Não
...
...
double
...
...
...
inflacao_acumulada_reais_rc
...
Não
...
Não
...
Não
...
...
double
...
...
...
inflacao_acumulada_reais_total
...
Não
...
Não
...
Não
...
...
double
...
...
| View file | ||
|---|---|---|
|
...
indicadores_mercado.market_consensus
...
Field
...
Key
...
Not Null
...
Partition
...
Element
...
Type
...
Size
...
Decimal
...
Description
...
data
...
Não
...
Não
...
Não
...
...
date
...
...
...
ebitda_2022
...
Não
...
Não
...
Não
...
...
smallint
...
...
...
ebitda_2023
...
Não
...
Não
...
Não
...
...
smallint
...
...
...
ebitda_2024
...
Não
...
Não
...
Não
...
...
smallint
...
...
...
ebitda_2025
...
Não
...
Não
...
Não
...
...
smallint
...
...
...
ebitda_2026
...
Não
...
Não
...
Não
...
...
smallint
...
ev_ebitda
...
Não
...
Não
...
Não
...
...
float
...
media_5y
...
Não
...
Não
...
Não
...
...
float
...
maior_1dp
...
Não
...
Não
...
Não
...
...
float
...
menor_1dp
...
Não
...
Não
...
Não
...
...
float
| View file | ||
|---|---|---|
|
...
indicadores_mercado.hoff_solucoes
...
Field
...
Key
...
Not Null
...
Partition
...
Element
...
Type
...
Size
...
Decimal
...
Description
...
data
...
Não
...
Não
...
Não
...
...
date
...
...
...
ano
...
Não
...
Não
...
Não
...
...
smallint
...
...
...
proj_arquit
...
Não
...
Não
...
Não
...
...
int
...
...
...
proj_arquit_reformas
...
Não
...
Não
...
Não
...
...
int
...
...
...
proj_arquit_empreendimentos
...
Não
...
Não
...
Não
...
...
int
...
...
...
proj_arquit_reformas_pf
...
Não
...
Não
...
Não
...
...
int
...
proj_arquit_reformas_pj
...
Não
...
Não
...
Não
...
...
int
...
proj_arquit_reformas_2019_10
...
Não
...
Não
...
Não
...
...
int
...
proj_arquit_empreendimentos_2019_100
...
Não
...
Não
...
Não
...
...
int
...
proj_arquit_empreendimentos_n
...
Não
...
Não
...
Não
...
...
int
...
proj_arquit_empreendimentos_ne
...
Não
...
Não
...
Não
...
...
int
...
proj_arquit_empreendimentos_co
...
Não
...
Não
...
Não
...
...
int
...
proj_arquit_empreendimentos_se
...
Não
...
Não
...
Não
...
...
int
...
proj_arquit_empreendimentos_s
...
Não
...
Não
...
Não
...
...
int
...
ano2
...
Não
...
Não
...
Não
...
...
int
...
proj_arquit_reformas_ano
...
Não
...
Não
...
Não
...
...
string
...
proj_arquit_empreendimentos_ano
...
Não
...
Não
...
Não
...
...
string
| View file | ||
|---|---|---|
|
...
indicadores_mercado.tb_sell_out_deca
...
Field
...
Key
...
Not Null
...
Partition
...
Element
...
Type
...
Size
...
Decimal
...
Description
...
ano
...
Não
...
Não
...
Não
...
...
string
...
...
...
mes
...
Não
...
Não
...
Não
...
...
string
...
...
...
ano_mes
...
Não
...
Não
...
Não
...
...
string
...
...
...
Sellout_Metais
...
Não
...
Não
...
Não
...
...
float
...
...
...
Sellout_Loucas
...
Não
...
Não
...
Não
...
...
float
...
...
...
Sellout_Hydra
...
Não
...
Não
...
Não
...
...
float
...
Sellout_RC
...
Não
...
Não
...
Não
...
...
float
| View file | ||
|---|---|---|
|
Databricks job: coletor_excel_sharepoint_bases_modelos_projecao
Task
Parâmetros
Periodicidade
Notebook
Repositório
coletor_demanda_deca
| Code Block | ||
|---|---|---|
| ||
{
"database": "bases_modelos_projecoes",
"base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
"schema": "{'Data':'date','Metais_Basicos':'int','Metais_Competitivos':'int','Metais_Medio_Luxo':'int','Metais_Exportacao':'int','Loucas_Bacias_Competitivas':'int','Loucas_Bacias_Izy':'int','Loucas_Bacias_Medio_Luxo':'int','Loucas_Cubas':'int','Loucas_Outros':'int','Loucas_Exportacao':'int','Chuveiros_Duchas':'int','Chuveiros_Torneiras_Eletricas':'int','Chuveiros_Torneiras_Plasticas':'int','Chuveiros_Outros':'int','Chuveiros_Exportacao':'int'}",
"remove_columns": "[]",
"file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Demanda Deca.xlsx",
"sheet_name": "Onda3",
"remove_lines": "[0]",
"table": "demanda_deca"
} |
Diário
/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint
https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/
coletor_demanda_madeira
| Code Block | ||
|---|---|---|
| ||
{
"database": "bases_modelos_projecoes",
"base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
"schema": "{'Data':'date','MDP_Revestido':'int','MDP_Cru':'int','MDF_Revestido':'int','MDF_Cru':'int'}",
"remove_columns": "[]",
"file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Demanda Madeira.xlsx",
"sheet_name": "Onda3",
"remove_lines": "[0]",
"table": "demanda_madeira"
} |
Diário
/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint
https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/
coletor_demanda_rc
| Code Block | ||
|---|---|---|
| ||
{
"database": "bases_modelos_projecoes",
"base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
"schema": "{'Data':'date','Porcelanato':'int'}",
"remove_columns": "[]",
"file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Demanda RC.xlsx",
"sheet_name": "Onda3",
"remove_lines": "[0]",
"table": "demanda_rc"
} |
Diário
/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint
https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/
coletor_dias_de_estoque_deca
| language | json |
|---|
out_deca |
|
Diário
/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint
https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/
coletor_dias_de_estoque_madeira
| language | json |
|---|
|
|
|
|
|
|
|
|
|
|
|
| Diário (13 0 0 ? * *) | /analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint | https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/ | |
coletor_investing_taxa_de_longo_prazo |
|
|
|
|
|
|
Diário
/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint
https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/
coletor_projecoes_longo_prazo
|
|
|
|
|
|
|
|
|
|
Diário
/bronze/inteligencia-mercado/coletor-excel-sharepoint
Tabelas referentes ao job: coletor_excel_sharepoint_bases_modelos_projecao
| Diário (13 0 0 ? * *) | /analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint | https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/ |
Tabelas referentes ao job: coletor_excel_sharepoint
indicadores_mercado.tb_energia_eletrica | ||||||||
|---|---|---|---|---|---|---|---|---|
Field | Key | Not Null | Partition | Element | Type | Size | Decimal | Description |
mes | Não | Não | Não |
| date |
|
| |
energia_eletrica_brasil | Não | Não | Não |
| double |
|
| |
energia_eletrica_brasil_projecao | Não | Não | Não |
| double |
|
| |
| View file | ||
|---|---|---|
|
indicadores_mercado.tb_economia_vs_poa | ||||||||
|---|---|---|---|---|---|---|---|---|
Field | Key | Not Null | Partition | Element | Type | Size | Decimal | Description |
mes_ytd | Não | Não | Não |
| date |
|
|
inflacao_acumulada_reais_madeira | Não | Não | Não |
|
double |
|
|
inflacao_acumulada_reais_deca | Não | Não | Não |
|
double |
|
|
inflacao_acumulada_ |
reais_ |
rc | Não | Não | Não |
|
double |
|
|
Metais_Exportacao
Não
Não
Não
int
inflacao_acumulada_reais_total | Não | Não | Não |
|
int
double |
|
| |
perc_spend_total | Não | Não | Não |
double |
int
| View file | ||
|---|---|---|
|
indicadores_ |
|---|
Field
Key
Not Null
Partition
Element
Type
Size
Decimal
Description
mercado.tb_market_consensus | ||||||||
|---|---|---|---|---|---|---|---|---|
Field | Key | Not Null | Partition | Element | Type | Size | Decimal | Description |
data | Não | Não | Não |
| date |
|
| |
ebitda_2022 | Não | Não | Não |
| smallint |
|
| |
ebitda_2023 | Não | Não | Não |
| ||||
smallint |
|
|
ebitda_ |
2024 | Não | Não | Não |
|
smallint |
|
|
ebitda_ |
2025 | Não | Não | Não |
|
smallint |
|
|
ebitda_ |
2026 | Não | Não | Não |
|
int
smallint | ||||||||
ev_ebitda | Não | Não | Não |
| float | |||
media_5y | Não | Não | Não |
| float | |||
maior_1dp | Não | Não | Não |
int
| float | ||||
menor_1dp | Não | Não | Não |
|
...
float |
| View file | ||
|---|---|---|
|
hoff_ |
|---|
solucoes. |
|---|
hoff_ |
|---|
solucoes | ||||||||
|---|---|---|---|---|---|---|---|---|
Field | Key | Not Null | Partition | Element | Type | Size | Decimal | Description |
data | Não | Não | Não |
| date |
|
|
ano | Não | Não | Não |
|
smallint |
|
| ||
proj_arquit | Não | Não | Não |
|
...
bases_modelos_projecoes.dias_de_estoque_deca
Field
Key
Not Null
Partition
Element
Type
Size
Decimal
Description
int |
...
| name | bases_modelos_projecoes.demanda_rc.csv |
|---|
|
| |||||||
proj_arquit_reformas | Não | Não | Não |
| int |
|
| |
proj_arquit_empreendimentos | Não | Não | Não |
|
int |
|
|
proj_arquit_reformas_pf | Não | Não | Não |
| int | |||
proj_arquit_reformas_pj | Não | Não | Não |
|
int | ||||||||
proj_arquit_reformas_2019_10 | Não | Não | Não |
| int | |||
proj_arquit_empreendimentos_2019_100 | Não | Não | Não |
|
int | |||||
proj_arquit_empreendimentos_n | Não | Não | Não |
| int |
RC
proj_arquit_empreendimentos_ne | Não | Não | Não |
| int |
| View file | ||
|---|---|---|
|
bases_modelos_projecoes.dias_de_estoque_madeira
Field
Key
Not Null
Partition
Element
Type
Size
Decimal
Description
proj_arquit_empreendimentos_co | Não | Não | Não |
| int | |||
proj_arquit_empreendimentos_se | Não | Não | Não |
|
date
int | |||||
proj_arquit_empreendimentos_s | Não | Não | Não |
| int |
Industria_Chapas
ano2 | Não | Não | Não |
| int |
proj_arquit_reformas_ano | Não | Não | Não |
|
int
string | ||||
proj_arquit_empreendimentos_ano | Não | Não | Não |
|
int
...
string |
| View file | ||
|---|---|---|
|
indicadores_ |
|---|
mercado.tb_sell_out_deca | ||||||||
|---|---|---|---|---|---|---|---|---|
Field | Key | Not Null | Partition | Element | Type | Size | Decimal | Description |
ano | Não | Não | Não |
|
int |
|
|
mes | Não | Não | Não |
|
int |
|
|
ano_mes | Não | Não | Não |
|
string |
|
|
Sellout_Metais | Não | Não | Não |
|
float |
|
|
Sellout_Loucas | Não | Não | Não |
|
float |
|
|
Sellout_Hydra | Não | Não | Não |
|
float |
Sellout_RC | Não | Não | Não |
|
double
2021
Não
Não
Não
double
2022
Não
Não
Não
double
float |
| View file | ||
|---|---|---|
|
investing.tb_brazil_10_year_bond_yield_sharepoint_silver | ||||||||
|---|---|---|---|---|---|---|---|---|
Field | Key | Not Null | Partition | Element | Type | Size | Decimal | Description |
Data | Não | Não | Não |
| ||||
double
2024
Não
Não
date |
|
double
2025
Não
Não
|
double
2026
10y_Brazilian_Bond | Não | Não | Não |
| double |
...
| View file |
|---|
...
Não
...
Não
...
Não
...
|