Esta página tem como finalidade documentar o processo de coleta dos dados de planilhas presentes no Sharepoint.
...
Relação de Jobs x Notebooks que compõem o processo:
Databrics job: coletor_excel_sharepoint
...
data
...
Não
...
Não
...
Não
...
...
date
...
...
...
ano
...
Não
...
Não
...
Não
...
...
smallint
...
...
...
proj_arquit
...
Não
...
Não
...
Não
...
...
int
...
...
...
proj_arquit_reformas
...
Não
...
Não
...
Não
...
...
int
...
...
...
proj_arquit_empreendimentos
...
Não
...
Não
...
Não
...
...
int
...
...
...
proj_arquit_reformas_pf
...
Não
...
Não
...
Não
...
...
int
...
proj_arquit_reformas_pj
...
Não
...
Não
...
Não
...
...
int
...
proj_arquit_reformas_2019_10
...
Não
...
Não
...
Não
...
...
int
...
proj_arquit_empreendimentos_2019_100
...
Não
...
Não
...
Não
...
...
int
...
proj_arquit_empreendimentos_n
...
Não
...
Não
...
Não
...
...
int
...
proj_arquit_empreendimentos_ne
...
Não
...
Não
...
Não
...
...
int
...
proj_arquit_empreendimentos_co
...
Não
...
Não
...
Não
...
...
int
...
proj_arquit_empreendimentos_se
...
Não
...
Não
...
Não
...
...
int
...
proj_arquit_empreendimentos_s
...
Não
...
Não
...
Não
...
...
int
...
ano2
...
Não
...
Não
...
Não
...
...
int
...
proj_arquit_reformas_ano
...
Não
...
Não
...
Não
...
...
string
...
proj_arquit_empreendimentos_ano
...
Não
...
Não
...
Não
...
...
string
| View file | ||
|---|---|---|
|
...
indicadores_mercado.tb_sell_out_deca
...
Field
...
Key
...
Not Null
...
Partition
...
Element
...
Type
...
Size
...
Decimal
...
Description
...
ano
...
Não
...
Não
...
Não
...
...
string
...
...
...
mes
...
Não
...
Não
...
Não
...
...
string
...
...
...
ano_mes
...
Não
...
Não
...
Não
...
...
string
...
...
...
Sellout_Metais
...
Não
...
Não
...
Não
...
...
float
...
...
...
Sellout_Loucas
...
Não
...
Não
...
Não
...
...
float
...
...
...
Sellout_Hydra
...
Não
...
Não
...
Não
...
...
float
...
Sellout_RC
...
Não
...
Não
...
Não
...
...
float
| View file | ||
|---|---|---|
|
Databricks job: coletor_excel_sharepoint_bases_modelos_projecao
Task
Parâmetros
Periodicidade
Notebook
Repositório
coletor_demanda_deca
| language | json |
|---|
Task | Parâmetros | Periodicidade | Notebook | Repositório | ||||||
|---|---|---|---|---|---|---|---|---|---|---|
coletor_economiaenergia_vs_poaeletrica |
| Diário (13 0 0 ? * *) | /analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint | https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/ | ||||||
coletor_marketeconomia_vs_consensuspoa |
| Diário (13 0 0 ? * *) | /analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint | https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/ | ||||||
coletor_hoffmarket_solucoesconsensus |
| Diário (13 0 0 ? * *) | /analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint | https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/ | ||||||
coletor_sellhoff_out_decasolucoes |
| Diário | /analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint | https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/ |
Tabelas referentes ao job: coletor_excel_sharepoint
...
indicadores_mercado.economia_vs_poa
...
Field
...
Key
...
Not Null
...
Partition
...
Element
...
Type
...
Size
...
Decimal
...
Description
...
mes_ytd
...
Não
...
Não
...
Não
...
...
date
...
...
...
inflacao_acumulada_reais_madeira
...
Não
...
Não
...
Não
...
...
double
...
...
...
inflacao_acumulada_reais_deca
...
Não
...
Não
...
Não
...
...
double
...
...
...
inflacao_acumulada_reais_rc
...
Não
...
Não
...
Não
...
...
double
...
...
...
inflacao_acumulada_reais_total
...
Não
...
Não
...
Não
...
...
double
...
...
| View file | ||
|---|---|---|
|
...
indicadores_mercado.market_consensus
...
Field
...
Key
...
Not Null
...
Partition
...
Element
...
Type
...
Size
...
Decimal
...
Description
...
data
...
Não
...
Não
...
Não
...
...
date
...
...
...
ebitda_2022
...
Não
...
Não
...
Não
...
...
smallint
...
...
...
ebitda_2023
...
Não
...
Não
...
Não
...
...
smallint
...
...
...
ebitda_2024
...
Não
...
Não
...
Não
...
...
smallint
...
...
...
ebitda_2025
...
Não
...
Não
...
Não
...
...
smallint
...
...
...
ebitda_2026
...
Não
...
Não
...
Não
...
...
smallint
...
ev_ebitda
...
Não
...
Não
...
Não
...
...
float
...
media_5y
...
Não
...
Não
...
Não
...
...
float
...
maior_1dp
...
Não
...
Não
...
Não
...
...
float
...
menor_1dp
...
Não
...
Não
...
Não
...
...
float
| View file | ||
|---|---|---|
|
...
indicadores_mercado.hoff_solucoes
...
Field
...
Key
...
Not Null
...
Partition
...
Element
...
Type
...
Size
...
Decimal
...
Description
| Diário (13 0 0 ? * *) | /analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint | https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/ | ||||||
coletor_sell_out_deca |
| Diário (13 0 0 ? * *) | /analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint | https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/ | |||||
coletor_investing_taxa_de_longo_prazo |
|
|
|
|
Diário
/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint
https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/
coletor_demanda_madeira
| Code Block | ||
|---|---|---|
| ||
{
"database": "bases_modelos_projecoes",
"base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
"schema": "{'Data':'date','MDP_Revestido':'int','MDP_Cru':'int','MDF_Revestido':'int','MDF_Cru':'int'}",
"remove_columns": "[]",
"file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Demanda Madeira.xlsx",
"sheet_name": "Onda3",
"remove_lines": "[0]",
"table": "demanda_madeira"
} |
Diário
/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint
https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/
coletor_demanda_rc
| Code Block | ||
|---|---|---|
| ||
{
"database": "bases_modelos_projecoes",
"base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
"schema": "{'Data':'date','Porcelanato':'int'}",
"remove_columns": "[]",
"file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Demanda RC.xlsx",
"sheet_name": "Onda3",
"remove_lines": "[0]",
"table": "demanda_rc"
} |
Diário
/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint
https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/
coletor_dias_de_estoque_deca
| Code Block | ||
|---|---|---|
| ||
{
"database": "bases_modelos_projecoes",
"base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
"schema": "{'Data':'date','Hydra':'int','Loucas':'int','Metais':'int','RC':'int'}",
"remove_columns": "[]",
"file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Dias de Estoque Deca.xlsx",
"sheet_name": "Onda3",
"remove_lines": "[0]",
"table": "dias_de_estoque_deca"
} |
Diário
/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint
https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/
coletor_dias_de_estoque_madeira
| Code Block | ||
|---|---|---|
| ||
{
"database": "bases_modelos_projecoes",
"base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
"schema": "{'Data':'date','Industria_PA':'int','Industria_Chapas':'int','Varejo_Madeirado':'int','Varejo_Brancos':'int'}",
"remove_columns": "[]",
"file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Dias de Estoque Madeira.xlsx",
"sheet_name": "Onda3",
"remove_lines": "[0]",
"table": "dias_de_estoque_madeira"
} |
Diário
/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint
https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/
Tabelas referentes ao job: coletor_excel_sharepoint_bases_modelos_projecao
bases_modelos_projecoes.demanda_deca
Field
Key
Not Null
Partition
Element
Type
Size
Decimal
Description
| Diário (13 0 0 ? * *) | /analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint | https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/ |
Tabelas referentes ao job: coletor_excel_sharepoint
indicadores_mercado.tb_energia_eletrica | ||||||||
|---|---|---|---|---|---|---|---|---|
Field | Key | Not Null | Partition | Element | Type | Size | Decimal | Description |
mes | Não | Não | Não |
| date |
|
| |
energia_eletrica_brasil | Não | Não | Não |
| double |
|
| |
energia_eletrica_brasil_projecao | Não | Não | Não |
| double |
|
| |
| View file | ||
|---|---|---|
|
indicadores_mercado.tb_economia_vs_poa | ||||||||
|---|---|---|---|---|---|---|---|---|
Field | Key | Not Null | Partition | Element | Type | Size | Decimal | Description |
mes_ytd | Não | Não | Não |
| date |
|
| |
inflacao_acumulada_reais_madeira | Não | Não | Não |
| double |
|
| |
inflacao_acumulada_reais_deca | Não | Não | Não |
| double |
|
| |
inflacao_acumulada_reais_rc | Não | Não | Não |
| double |
|
| |
inflacao_acumulada_reais_total | Não | Não | Não |
| double |
|
| |
perc_spend_total | Não | Não | Não | double | ||||
| View file | ||
|---|---|---|
|
indicadores_mercado.tb_market_consensus | ||||||||
|---|---|---|---|---|---|---|---|---|
Field | Key | Not Null | Partition | Element | Type | Size | Decimal | Description |
data | Não | Não | Não |
| date |
|
| |
ebitda_2022 | Não | Não | Não |
| smallint |
|
| |
ebitda_2023 | Não | Não | Não |
| smallint |
|
| |
ebitda_2024 | Não | Não | Não |
| smallint |
|
| |
ebitda_2025 | Não | Não | Não |
| smallint |
|
| |
ebitda_2026 | Não | Não | Não |
| smallint | |||
ev_ebitda | Não | Não | Não |
| float | |||
media_5y | Não | Não | Não |
| float | |||
maior_1dp | Não | Não | Não |
| float | |||
menor_1dp | Não | Não | Não |
| float | |||
| View file | ||
|---|---|---|
|
hoff_solucoes.hoff_solucoes | ||||||||
|---|---|---|---|---|---|---|---|---|
Field | Key | Not Null | Partition | Element | Type | Size | Decimal | Description |
data | Não | Não | Não |
| date |
|
| |
ano | Não | Não | Não |
| smallint |
|
| |
proj_arquit | Não | Não | Não |
| ||||
int |
|
|
proj_arquit_ |
reformas | Não | Não | Não |
| int |
|
|
proj_arquit_ |
empreendimentos | Não | Não | Não |
| int |
|
|
proj_arquit_ |
reformas_ |
pf | Não | Não | Não |
| int | |||
proj_arquit_reformas_pj | Não | Não | Não |
|
int | ||||||||
proj_arquit_reformas_2019_10 | Não | Não | Não |
| int | |||
proj_arquit_empreendimentos_2019_100 | Não | Não | Não |
| int |
proj_arquit_empreendimentos_n | Não | Não | Não |
| int |
proj_arquit_ |
empreendimentos_ |
bases_modelos_projecoes.demanda_madeira
Field
Key
Not Null
Partition
Element
Type
Size
Decimal
Description
ne | Não | Não | Não |
| int |
| View file | ||
|---|---|---|
|
proj_arquit_empreendimentos_co | Não | Não | Não |
| int | |||
proj_arquit_empreendimentos_se | Não | Não | Não |
|
date
int | |||||
proj_arquit_empreendimentos_s | Não | Não | Não |
| int |
ano2 | Não | Não | Não |
| int |
proj_arquit_reformas_ano | Não | Não | Não |
|
int
string | ||||
proj_arquit_empreendimentos_ano | Não | Não | Não |
|
int
...
string |
| View file | ||
|---|---|---|
|
indicadores_mercado.tb_sell_out_deca | ||||||||
|---|---|---|---|---|---|---|---|---|
Field | Key | Not Null | Partition | Element | Type | Size | Decimal | Description |
ano | Não | Não | Não |
|
int |
|
|
bases_modelos_projecoes.dias_de_estoque_deca
Field
Key
Not Null
Partition
Element
Type
Size
Decimal
Description
Data
mes | Não | Não | Não |
| int |
|
|
| View file | ||
|---|---|---|
|
ano_mes | Não | Não | Não |
|
string |
|
|
Sellout_Metais | Não | Não | Não |
|
float |
|
| ||
Sellout_Loucas | Não | Não | Não |
|
float |
|
|
Sellout_Hydra | Não | Não | Não |
|
int
float | ||||
Sellout_RC | Não | Não | Não |
|
int
...
float |
| View file | ||
|---|---|---|
|
bases_modelos_projecoes.dias_de_estoque_madeira
Field
Key
Not Null
Partition
Element
Type
Size
Decimal
Description
Data
Não
Não
Não
date
Industria_PA
Não
Não
Não
int
Industria_Chapas
Não
Não
Não
int
Varejo_Madeirado
Não
Não
Não
int
investing.tb_brazil_10_year_bond_yield_sharepoint_silver | ||||||||
|---|---|---|---|---|---|---|---|---|
Field | Key | Not Null | Partition | Element | Type | Size | Decimal | Description |
Data | Não | Não | Não |
| date |
|
| |
10y_Brazilian_Bond | Não | Não | Não |
| ||||
int
double |
| View file | ||
|---|---|---|
|