Content Comparison

...

Task

Parâmetros

Periodicidade

Notebook

Repositório

coletor_economia_vs_poa

Code Block

language	json

{
                        "database": "indicadores_mercado",
                        "base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
                        "schema": "{'mes_ytd':'date','inflacao_acumulada_reais_madeira':'double','inflacao_acumulada_reais_deca':'double','inflacao_acumulada_reais_rc':'double','inflacao_acumulada_reais_total':'double'}",
                        "remove_columns": "['Unnamed: 5','Dados para Gráfico','Unnamed: 7','Unnamed: 8','Unnamed: 9']",
                        "file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Economia vs POA (Suprimentos)/Economia vs POA.xlsx",
                        "sheet_name": "Economia",
                        "remove_lines": "[0]",
                        "table": "economia_vs_poa"
                    }

Diário

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_market_consensus

Code Block

language	json

{
                        "database": "indicadores_mercado",
                        "base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
                        "schema": "{'data': 'date', 'ebitda_2022': 'smallint', 'ebitda_2023': 'smallint', 'ebitda_2024': 'smallint', 'ebitda_2025': 'smallint', 'ebitda_2026': 'smallint', 'ev_ebitda': 'float', 'media_5y': 'float', 'maior_1dp': 'float', 'menor_1dp': 'float'}",
                        "remove_columns": "[]",
                        "file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Market Consensus/Market Consensus.xlsx",
                        "sheet_name": "Consensus",
                        "remove_lines": "[0, 1]",
                        "table": "market_consensus"
                    }

Diário

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_hoff_solucoes

Code Block

language	json

{
                        "database": "hoff_solucoes",
                        "base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
                        "schema": "{'data': 'date', 'ano': 'smallint', 'proj_arquit': 'int', 'proj_arquit_reformas': 'int', 'proj_arquit_empreendimentos': 'int', 'proj_arquit_reformas_pf': 'int', 'proj_arquit_reformas_pj': 'int', 'proj_arquit_reformas_2019_10': 'int', 'proj_arquit_empreendimentos_2019_100': 'int', 'proj_arquit_empreendimentos_n': 'int', 'proj_arquit_empreendimentos_ne': 'int', 'proj_arquit_empreendimentos_co': 'int', 'proj_arquit_empreendimentos_se': 'int', 'proj_arquit_empreendimentos_s': 'int', 'ano2': 'int', 'proj_arquit_reformas_ano': 'string', 'proj_arquit_empreendimentos_ano': 'string'}",
                        "remove_columns": "[]",
                        "file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Hoff Soluções/Hoff Soluções.xlsx",
                        "sheet_name": "Projetos Arquitetônicos",
                        "remove_lines": "[0]",
                        "table": "hoff_solucoes"
                    }

Diário

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_sell_out_deca

Code Block

language	json

{
                        "database": "indicadores_mercado",
                        "base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
                        "schema": "{'ano': 'string', 'mes': 'string', 'ano_mes': 'string', 'Sellout_Metais': 'float', 'Sellout_Loucas': 'float', 'Sellout_Hydra': 'float', 'Sellout_RC': 'float'}",
                        "remove_columns": "[]",
                        "file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Sell-out Deca/Sell-out Deca.xlsx",
                        "sheet_name": "Sheet1",
                        "remove_lines": "[0, 1]",
                        "table": "tb_sell_out_deca"
                    }

Diário

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_investing_taxa_de_longo_prazo

Code Block

{
                "task_key": "coletor_investing_taxa_de_longo_prazo",
                "notebook_task": {
                    "notebook_path": "/bronze/inteligencia-mercado/coletor-excel-sharepoint",
                    "base_parameters": {
                        "base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
                        "file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Taxa de Longo Prazo/Taxa de Longo Prazo.xlsx",
                        "sheet_name": "Onda1",
                        "remove_lines": "[]",
                        "remove_columns": "[]",
                        "database": "investing",
                        "table": "tb_brazil_10_year_bond_yield_sharepoint_silver",
                        "schema": "{'Data': 'date','10y_Brazilian_Bond': 'double'}"
                    },
                    "source": "WORKSPACE"
                },
                "existing_cluster_id": "0523-180911-cnxb45ry",
                "timeout_seconds": 0,
                "email_notifications": {}
            }

Diário

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

Tabelas referentes ao job: coletor_excel_sharepoint

...

View file

name	indicadores_mercado.tb_sell_out_deca.csv

investing.tb_brazil_10_year_bond_yield_sharepoint_silver
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
Data	Não	Não	Não		date
10y_Brazilian_Bond	Não	Não	Não		double

Databricks job: coletor_excel_sharepoint_bases_modelos_projecao

...

bases_modelos_projecoes.demanda_deca
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
Data	Não	Não	Não		date
Metais_Basicos	Não	Não	Não		int
Metais_Competitivos	Não	Não	Não		int
Metais_Medio_Luxo	Não	Não	Não		int
Metais_Exportacao	Não	Não	Não		int
Loucas_Bacias_Competitivas	Não	Não	Não		int
Loucas_Bacias_Izy	Não	Não	Não		int

...

bases_modelos_projecoes.demanda_madeira
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
Data	Não	Não	Não		date
MDP_Revestido	Não	Não	Não		int
MDP_Cru	Não	Não	Não		int
MDF_Revestido	Não	Não	Não		int
MDF_Cru	Não	Não	Não		int

...

bases_modelos_projecoes.demanda_rc
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
Data	Não	Não	Não		date
Porcelanato	Não	Não	Não		int

...

bases_modelos_projecoes.dias_de_estoque_deca
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
Data	Não	Não	Não		date
Hydra	Não	Não	Não		int
Loucas	Não	Não	Não		int
Metais	Não	Não	Não		int
RC	Não	Não	Não		int

...

bases_modelos_projecoes.dias_de_estoque_madeira
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
Data	Não	Não	Não		date
Industria_PA	Não	Não	Não		int
Industria_Chapas	Não	Não	Não		int
Varejo_Madeirado	Não	Não	Não		int
Varejo_Brancos	Não	Não	Não		int

...

bases_modelos_projecoes.projecoes_longo_prazo
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
indice	Não	Não	Não		string
2015	Não	Não	Não		double
2016	Não	Não	Não		double
2017	Não	Não	Não		double
2018	Não	Não	Não		double
2019	Não	Não	Não		double
2020	Não	Não	Não		double
2021	Não	Não	Não		double
2022	Não	Não	Não		double
2023	Não	Não	Não		double
2024	Não	Não	Não		double
2025	Não	Não	Não		double
2026	Não	Não	Não		double
2027	Não	Não	Não		double

...

Version	Old Version 6	New Version 7
Changes made by	Anonymous	Anonymous
Saved on	Oct 03, 2022	Oct 19, 2022

Content Comparison

Versions Compared

Key

Task

Parâmetros

Periodicidade

Notebook

Repositório

Field

Key

Not Null

Partition

Element

Type

Size

Decimal

Description

Field

Key

Not Null

Partition

Element

Type

Size

Decimal

Description

Field

Key

Not Null

Partition

Element

Type

Size

Decimal

Description

Field

Key

Not Null

Partition

Element

Type

Size

Decimal

Description

Field

Key

Not Null

Partition

Element

Type

Size

Decimal

Description

Field

Key

Not Null

Partition

Element

Type

Size

Decimal

Description

Field

Key

Not Null

Partition

Element

Type

Size

Decimal

Description