Versions Compared

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.

...

Task
Parâmetros
Periodicidade
Notebook
Repositório

coletor_demanda_deca

Code Block
languagejson
{
                        "database": "bases_modelos_projecoes",
                        "base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
                        "schema": "{'Data':'date','Metais_Basicos':'int','Metais_Competitivos':'int','Metais_Medio_Luxo':'int','Metais_Exportacao':'int','Loucas_Bacias_Competitivas':'int','Loucas_Bacias_Izy':'int','Loucas_Bacias_Medio_Luxo':'int','Loucas_Cubas':'int','Loucas_Outros':'int','Loucas_Exportacao':'int','Chuveiros_Duchas':'int','Chuveiros_Torneiras_Eletricas':'int','Chuveiros_Torneiras_Plasticas':'int','Chuveiros_Outros':'int','Chuveiros_Exportacao':'int'}",
                        "remove_columns": "[]",
                        "file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Demanda Deca.xlsx",
                        "sheet_name": "Onda3",
                        "remove_lines": "[0]",
                        "table": "demanda_deca"
                    }

Diário

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_demanda_madeira

Code Block
languagejson
{
                        "database": "bases_modelos_projecoes",
                        "base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
                        "schema": "{'Data':'date','MDP_Revestido':'int','MDP_Cru':'int','MDF_Revestido':'int','MDF_Cru':'int'}",
                        "remove_columns": "[]",
                        "file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Demanda Madeira.xlsx",
                        "sheet_name": "Onda3",
                        "remove_lines": "[0]",
                        "table": "demanda_madeira"
                    }

Diário

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_demanda_rc

Code Block
languagejson
{
                        "database": "bases_modelos_projecoes",
                        "base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
                        "schema": "{'Data':'date','Porcelanato':'int'}",
                        "remove_columns": "[]",
                        "file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Demanda RC.xlsx",
                        "sheet_name": "Onda3",
                        "remove_lines": "[0]",
                        "table": "demanda_rc"
                    }

Diário

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_dias_de_estoque_deca

Code Block
languagejson
{
                        "database": "bases_modelos_projecoes",
                        "base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
                        "schema": "{'Data':'date','Hydra':'int','Loucas':'int','Metais':'int','RC':'int'}",
                        "remove_columns": "[]",
                        "file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Dias de Estoque Deca.xlsx",
                        "sheet_name": "Onda3",
                        "remove_lines": "[0]",
                        "table": "dias_de_estoque_deca"
                    }

Diário

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_dias_de_estoque_madeira

Code Block
languagejson
{
                        "database": "bases_modelos_projecoes",
                        "base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
                        "schema": "{'Data':'date','Industria_PA':'int','Industria_Chapas':'int','Varejo_Madeirado':'int','Varejo_Brancos':'int'}",
                        "remove_columns": "[]",
                        "file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Dias de Estoque Madeira.xlsx",
                        "sheet_name": "Onda3",
                        "remove_lines": "[0]",
                        "table": "dias_de_estoque_madeira"
                    }

Diário

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

...

coletor_projecoes_longo_prazo

Code Block
{
                        "database": "bases_modelos_projecoes",
                        "base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
                        "schema": "{'indices': 'string', '2015': 'double', '2016': 'double', '2017': 'double', '2018': 'double', '2019': 'double', '2020': 'double', '2021': 'double', '2022': 'double', '2023': 'double', '2024': 'double', '2025': 'double', '2026': 'double', '2027': 'double'}",
                        "remove_columns": "[]",
                        "file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Projeções-Longo-Prazo.xlsx",
                        "sheet_name": "Plan1",
                        "remove_lines": "[]",
                        "table": "projecoes_longo_prazo"
                    }

Diário

/bronze/inteligencia-mercado/coletor-excel-sharepoint

  • Tabelas referentes ao job: coletor_excel_sharepoint_bases_modelos_projecao

bases_modelos_projecoes.demanda_deca

Field
Key
Not Null
Partition
Element
Type
Size
Decimal
Description

Data

Não

Não

Não

 

date

 

 

Metais_Basicos

Não

Não

Não

 

int

 

 

Metais_Competitivos

Não

Não

Não

 

int

 

 

Metais_Medio_Luxo

Não

Não

Não

 

int

 

 

Metais_Exportacao

Não

Não

Não

 

int

 

 

Loucas_Bacias_Competitivas

Não

Não

Não

 

int

Loucas_Bacias_Izy

Não

Não

Não

 

int

 

View file
namebases_modelos_projecoes.demanda_deca.csv

bases_modelos_projecoes.demanda_

deca

madeira

Field
Key
Not Null
Partition
Element
Type
Size
Decimal
Description

Data

Não

Não

Não

 

date

 

 

Metais

MDP_

Basicos

Revestido

Não

Não

Não

 

int

 

 

Metais

MDP_

Competitivos

Cru

Não

Não

Não

 

int

 

 

Metais_Medio

MDF_

Luxo

Revestido

Não

Não

Não

 

int

 

 

Metais

MDF_

Exportacao

Cru

Não

Não

Não

 

int

 

 

Loucas_Bacias_Competitivas

 

View file
namebases_modelos_projecoes.demanda_madeira.csv

bases_modelos_projecoes.demanda_rc

Field
Key
Not Null
Partition
Element
Type
Size
Decimal
Description

Data

Não

Não

Não

 

int

Loucas_Bacias_Izy

date

 

 

Porcelanato

Não

Não

Não

 

int

 

 

 

View file
namebases_modelos_projecoes.demanda_decarc.csv

bases_modelos_projecoes.

demanda_madeira

dias_de_estoque_deca

Field
Key
Not Null
Partition
Element
Type
Size
Decimal
Description

Data

Não

Não

Não

 

date

 

 

MDP_Revestido

Hydra

Não

Não

Não

 

int

 

 

MDP_Cru

Loucas

Não

Não

Não

 

int

 

 

MDF_Revestido

Metais

Não

Não

Não

 

int

 

 

MDF_Cru

RC

Não

Não

Não

 

int

 

 

 

View file
namebases_modelos_projecoes.demanda_madeiradias_de_estoque_deca.csv

bases_modelos_projecoes.

demanda_rc

dias_de_estoque_madeira

Field
Key
Not Null
Partition
Element
Type
Size
Decimal
Description

Data

Não

Não

Não

 

date

 

 

Industria_PA

Não

 

Porcelanato

Não

Não

 

int

 

 

Industria_Chapas

Não

Não

Não

 

int

 

 

Varejo_Madeirado

Não

Não

Não

 

int

 

 

Varejo_Brancos

Não

Não

Não

 

int

 

 

 

View file
namebases_modelos_projecoes.demanda_rcdias_de_estoque_madeira.csv

bases_modelos_projecoes.

dias

projecoes_

de

longo_

estoque_deca

prazo

Field
Key
Not Null
Partition
Element
Type
Size
Decimal
Description
Data

indice

Não

Não

Não

 

date

string

 

 

Hydra

2015

Não

Não

Não

 

int

double

 

 

Loucas

2016

Não

Não

Não

 

int

double

 

 

Metais

2017

Não

Não

Não

 

int

double

 

 

RC

2018

Não

Não

Não

 

int

double

 

 

...

2019

...

bases_modelos_projecoes.dias_de_estoque_madeira

Field
Key
Not Null
Partition
Element
Type
Size
Decimal
Description
Data

Não

...

namebases_modelos_projecoes.dias_de_estoque_deca.csv

Não

Não

 

double

2020

Não

Não

Não

 

double

2021

Não

Não

Não

 

date

double

2022

Não

Não

Não

 

 

double

Industria_PA

2023

Não

Não

Não

 

int

 

 

Industria_Chapas

double

2024

Não

Não

Não

 

int

double

 

 

Varejo_Madeirado

2025

Não

Não

Não

 

int

 

 

Varejo_Brancos

double

2026

Não

Não

Não

 

int

double

 

2027

 

Não

...

Não

...

Não

...

 

double