Content Comparison

...

Relação de Jobs x Notebooks que compõem o processo:

Databrics job: coletor_excel_sharepoint

Task

Parâmetros

Periodicidade

Notebook

Repositório

coletor_economia_vs_poa

Code Block

language	json

{
                        "database": "indicadores_mercado",
                        "base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
                        "schema": "{'mes_ytd':'date','inflacao_acumulada_reais_madeira':'double','inflacao_acumulada_reais_deca':'double','inflacao_acumulada_reais_rc':'double','inflacao_acumulada_reais_total':'double'}",
                        "remove_columns": "['Unnamed: 5','Dados para Gráfico','Unnamed: 7','Unnamed: 8','Unnamed: 9']",
                        "file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Economia vs POA (Suprimentos)/Economia vs POA.xlsx",
                        "sheet_name": "Economia",
                        "remove_lines": "[0]",
                        "table": "economia_vs_poa"
                    }

Diário

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_market_consensus

Code Block

language	json

{
                        "database": "indicadores_mercado",
                        "base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
                        "schema": "{'data': 'date', 'ebitda_2022': 'smallint', 'ebitda_2023': 'smallint', 'ebitda_2024': 'smallint', 'ebitda_2025': 'smallint', 'ebitda_2026': 'smallint', 'ev_ebitda': 'float', 'media_5y': 'float', 'maior_1dp': 'float', 'menor_1dp': 'float'}",
                        "remove_columns": "[]",
                        "file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Market Consensus/Market Consensus.xlsx",
                        "sheet_name": "Consensus",
                        "remove_lines": "[0, 1]",
                        "table": "market_consensus"
                    }

Diário

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_hoff_solucoes

Code Block

language	json

{
                        "database": "hoff_solucoes",
                        "base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
                        "schema": "{'data': 'date', 'ano': 'smallint', 'proj_arquit': 'int', 'proj_arquit_reformas': 'int', 'proj_arquit_empreendimentos': 'int', 'proj_arquit_reformas_pf': 'int', 'proj_arquit_reformas_pj': 'int', 'proj_arquit_reformas_2019_10': 'int', 'proj_arquit_empreendimentos_2019_100': 'int', 'proj_arquit_empreendimentos_n': 'int', 'proj_arquit_empreendimentos_ne': 'int', 'proj_arquit_empreendimentos_co': 'int', 'proj_arquit_empreendimentos_se': 'int', 'proj_arquit_empreendimentos_s': 'int', 'ano2': 'int', 'proj_arquit_reformas_ano': 'string', 'proj_arquit_empreendimentos_ano': 'string'}",
                        "remove_columns": "[]",
                        "file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Hoff Soluções/Hoff Soluções.xlsx",
                        "sheet_name": "Projetos Arquitetônicos",
                        "remove_lines": "[0]",
                        "table": "hoff_solucoes"
                    }

Diário

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_sell_out_deca

Code Block

language	json

{
                        "database": "indicadores_mercado",
                        "base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
                        "schema": "{'ano': 'string', 'mes': 'string', 'ano_mes': 'string', 'Sellout_Metais': 'float', 'Sellout_Loucas': 'float', 'Sellout_Hydra': 'float', 'Sellout_RC': 'float'}",
                        "remove_columns": "[]",
                        "file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Sell-out Deca/Sell-out Deca.xlsx",
                        "sheet_name": "Sheet1",
                        "remove_lines": "[0, 1]",
                        "table": "tb_sell_out_deca"
                    }

Diário

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

Tabelas referentes ao job: coletor_excel_sharepoint

indicadores_mercado.economia_vs_poa
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
mes_ytd	Não	Não	Não		date
inflacao_acumulada_reais_madeira	Não	Não	Não		double
inflacao_acumulada_reais_deca	Não	Não	Não		double
inflacao_acumulada_reais_rc	Não	Não	Não		double
inflacao_acumulada_reais_total	Não	Não	Não		double

View file

name	indicadores_mercado.economia_vs_poa.csv

indicadores_mercado.market_consensus
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
data	Não	Não	Não		date
ebitda_2022	Não	Não	Não		smallint
ebitda_2023	Não	Não	Não		smallint
ebitda_2024	Não	Não	Não		smallint
ebitda_2025	Não	Não	Não		smallint
ebitda_2026	Não	Não	Não		smallint
ev_ebitda	Não	Não	Não		float
media_5y	Não	Não	Não		float
maior_1dp	Não	Não	Não		float
menor_1dp	Não	Não	Não		float

View file

name	indicadores_mercado.market_consensus.csv

indicadores_mercado.hoff_solucoes
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
data	Não	Não	Não		date
ano	Não	Não	Não		smallint
proj_arquit	Não	Não	Não		int
proj_arquit_reformas	Não	Não	Não		int
proj_arquit_empreendimentos	Não	Não	Não		int
proj_arquit_reformas_pf	Não	Não	Não		int
proj_arquit_reformas_pj	Não	Não	Não		int
proj_arquit_reformas_2019_10	Não	Não	Não		int
proj_arquit_empreendimentos_2019_100	Não	Não	Não		int
proj_arquit_empreendimentos_n	Não	Não	Não		int
proj_arquit_empreendimentos_ne	Não	Não	Não		int
proj_arquit_empreendimentos_co	Não	Não	Não		int
proj_arquit_empreendimentos_se	Não	Não	Não		int
proj_arquit_empreendimentos_s	Não	Não	Não		int
ano2	Não	Não	Não		int
proj_arquit_reformas_ano	Não	Não	Não		string
proj_arquit_empreendimentos_ano	Não	Não	Não		string

View file

name	indicadores_mercado.hoff_solucoes.csv

indicadores_mercado.tb_sell_out_deca
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
ano	Não	Não	Não		string
mes	Não	Não	Não		string
ano_mes	Não	Não	Não		string
Sellout_Metais	Não	Não	Não		float
Sellout_Loucas	Não	Não	Não		float
Sellout_Hydra	Não	Não	Não		float
Sellout_RC	Não	Não	Não		float

View file

name	indicadores_mercado.tb_sell_out_deca.csv

Databricks job: coletor_excel_sharepoint_bases_modelos_projecao

Task

Parâmetros

Periodicidade

Notebook

Repositório

coletor_demanda_deca

Code Block

language	json

{
                        "database": "bases_modelos_projecoes",
                        "base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
                        "schema": "{'Data':'date','Metais_Basicos':'int','Metais_Competitivos':'int','Metais_Medio_Luxo':'int','Metais_Exportacao':'int','Loucas_Bacias_Competitivas':'int','Loucas_Bacias_Izy':'int','Loucas_Bacias_Medio_Luxo':'int','Loucas_Cubas':'int','Loucas_Outros':'int','Loucas_Exportacao':'int','Chuveiros_Duchas':'int','Chuveiros_Torneiras_Eletricas':'int','Chuveiros_Torneiras_Plasticas':'int','Chuveiros_Outros':'int','Chuveiros_Exportacao':'int'}",
                        "remove_columns": "[]",
                        "file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Demanda Deca.xlsx",
                        "sheet_name": "Onda3",
                        "remove_lines": "[0]",
                        "table": "demanda_deca"
                    }

Diário

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_demanda_madeira

Code Block

language	json

{
                        "database": "bases_modelos_projecoes",
                        "base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
                        "schema": "{'Data':'date','MDP_Revestido':'int','MDP_Cru':'int','MDF_Revestido':'int','MDF_Cru':'int'}",
                        "remove_columns": "[]",
                        "file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Demanda Madeira.xlsx",
                        "sheet_name": "Onda3",
                        "remove_lines": "[0]",
                        "table": "demanda_madeira"
                    }

Diário

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_demanda_rc

Code Block

language	json

{
                        "database": "bases_modelos_projecoes",
                        "base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
                        "schema": "{'Data':'date','Porcelanato':'int'}",
                        "remove_columns": "[]",
                        "file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Demanda RC.xlsx",
                        "sheet_name": "Onda3",
                        "remove_lines": "[0]",
                        "table": "demanda_rc"
                    }

Diário

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_dias_de_estoque_deca

Code Block

language	json

{
                        "database": "bases_modelos_projecoes",
                        "base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
                        "schema": "{'Data':'date','Hydra':'int','Loucas':'int','Metais':'int','RC':'int'}",
                        "remove_columns": "[]",
                        "file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Dias de Estoque Deca.xlsx",
                        "sheet_name": "Onda3",
                        "remove_lines": "[0]",
                        "table": "dias_de_estoque_deca"
                    }

Diário

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_dias_de_estoque_madeira

Code Block

language	json

{
                        "database": "bases_modelos_projecoes",
                        "base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
                        "schema": "{'Data':'date','Industria_PA':'int','Industria_Chapas':'int','Varejo_Madeirado':'int','Varejo_Brancos':'int'}",
                        "remove_columns": "[]",
                        "file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Dias de Estoque Madeira.xlsx",
                        "sheet_name": "Onda3",
                        "remove_lines": "[0]",
                        "table": "dias_de_estoque_madeira"
                    }

Diário

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

Tabelas referentes ao job: coletor_excel_sharepoint_bases_modelos_projecao

bases_modelos_projecoes.demanda_deca
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
Data	Não	Não	Não		date
Metais_Basicos	Não	Não	Não		int
Metais_Competitivos	Não	Não	Não		int
Metais_Medio_Luxo	Não	Não	Não		int
Metais_Exportacao	Não	Não	Não		int
Loucas_Bacias_Competitivas	Não	Não	Não		int
Loucas_Bacias_Izy	Não	Não	Não		int

View file

name	bases_modelos_projecoes.demanda_deca.csv

...

bases_modelos_projecoes.demanda_madeira
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
Data	Não	Não	Não		date
MDP_Revestido	Não	Não	Não		int
MDP_Cru	Não	Não	Não		int
MDF_Revestido	Não	Não	Não		int
MDF_Cru	Não	Não	Não		int

...

bases_modelos_projecoes.demanda_rc
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
Data	Não	Não	Não		date
Porcelanato	Não	Não	Não		int

...

bases_modelos_projecoes.dias_de_estoque_deca
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
Data	Não	Não	Não		date
Hydra	Não	Não	Não		int
Loucas	Não	Não	Não		int
Metais	Não	Não	Não		int
RC	Não	Não	Não		int

...

bases_modelos_projecoes.dias_de_estoque_madeira
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
Data	Não	Não	Não		date
Industria_PA	Não	Não	Não		int
Industria_Chapas	Não	Não	Não		int
Varejo_Madeirado	Não	Não	Não		int
Varejo_Brancos	Não	Não	Não		int

...

Version	Old Version 3	New Version 4
Changes made by	Anonymous	Anonymous
Saved on	Aug 15, 2022	Aug 22, 2022

Content Comparison

Versions Compared

Key

Task

Parâmetros

Periodicidade

Notebook

Repositório

Field

Key

Not Null

Partition

Element

Type

Size

Decimal

Description

Field

Key

Not Null

Partition

Element

Type

Size

Decimal

Description

Field

Key

Not Null

Partition

Element

Type

Size

Decimal

Description

Field

Key

Not Null

Partition

Element

Type

Size

Decimal

Description

Task

Parâmetros

Periodicidade

Notebook

Repositório

Field

Key

Not Null

Partition

Element

Type

Size

Decimal

Description

Field

Key

Not Null

Partition

Element

Type

Size

Decimal

Description

Field

Key

Not Null

Partition

Element

Type

Size

Decimal

Description

Field

Key

Not Null

Partition