Content Comparison

Esta página tem como finalidade documentar o processo de coleta dos dados de planilhas presentes no Sharepoint.

...

Relação de Jobs x Notebooks que compõem o processo:

Databricks Databrics job: coletor_excel_sharepoint_bases_modelos_projecao

bases_modelos_projecoes.demanda_deca

Task

Parâmetros

Periodicidade

Notebook

Repositório

coletor_demandaenergia_decaeletrica

Code Block

language	json

{
                        "databasebase_url": "bases_modelos_projecoeshttps://duratexsa.sharepoint.com/sites/JornadaCrescimento",
                        "base_urlfile": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento/sites/JornadaCrescimento/Documentos Partilhados/Processar/Energia Elétrica/Energia Elétrica.xlsx",
                        "schemasheet_name": "{'Data':'date','Metais_Basicos':'int','Metais_Competitivos':'int','Metais_Medio_Luxo':'int','Metais_Exportacao':'int','Loucas_Bacias_Competitivas':'int','Loucas_Bacias_Izy':'int','Loucas_Bacias_Medio_Luxo':'int','Loucas_Cubas':'int','Loucas_Outros':'int','Loucas_Exportacao':'int','Chuveiros_Duchas':'int','Chuveiros_Torneiras_Eletricas':'int','Chuveiros_Torneiras_Plasticas':'int','Chuveiros_Outros':'int','Chuveiros_Exportacao':'int'}",Sheet1",
                        "remove_lines": "[0,1,2,3]",
                        "remove_columns": "['ID:']",
                        "database": "indicadores_mercado",
                        "table": "tb_energia_eletrica",
                        "schema": "{'mes':'date','energia_eletrica_brasil':'double','energia_eletrica_brasil_projecao':'double'}"
                        "remove_columns": "[]",
                        "file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Demanda Deca.xlsx",}

Diário

(13 0 0 ? * *)

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_economia_vs_poa

Code Block

language	json

{
                        "sheetbase_nameurl": "Onda3https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
                        "remove_linesfile": "[0]/sites/JornadaCrescimento/Documentos Partilhados/Processar/Economia vs POA (Suprimentos)/Economia vs POA.xlsx",
                        "tablesheet_name": "demanda_decaEconomia",
                    }

Diário

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_demanda_madeira

Code Block

language	json

{    "remove_lines": "[0]",
                        "databaseremove_columns": "bases_modelos_projecoes",
    ['Unnamed: 6','Dados para Gráfico','Unnamed: 8','Unnamed: 9','Unnamed: 10']",
                   "base_url     "database": "https://duratexsa.sharepoint.com/sites/JornadaCrescimentoindicadores_mercado",
                        "schematable": "{'Data':'date','MDP_Revestido':'int','MDP_Cru':'int','MDF_Revestido':'int','MDF_Cru':'int'}",tb_economia_vs_poa",
                        "remove_columnsschema": "[]",
       {'mes_ytd':'date','inflacao_acumulada_reais_madeira':'double','inflacao_acumulada_reais_deca':'double','inflacao_acumulada_reais_rc':'double','inflacao_acumulada_reais_total':'double', 'perc_spend_total':'double'}"
                 "file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Demanda Madeira.xlsx",
        }

Diário

(13 0 0 ? * *)

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_market_consensus

Code Block

language	json

{
                  "sheet_name      "base_url": "Onda3https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
                        "remove_linesfile": "[0]",
    /sites/JornadaCrescimento/Documentos Partilhados/Processar/Market Consensus/Market Consensus.xlsx",
                        "tablesheet_name": "demanda_madeira"
 Consensus",
                        "remove_lines": "[0, 1]",
                  }

Diário

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_demanda_rc

Code Block

language	json

{      "remove_columns": "[]",
                        "database": "basesindicadores_modelos_projecoesmercado",
                        "base_urltable": "https://duratexsa.sharepoint.com/sites/JornadaCrescimentotb_market_consensus",
                        "schema": "{'Datadata': 'date', 'Porcelanatoebitda_2022': 'intsmallint'}", 'ebitda_2023': 'smallint', 'ebitda_2024': 'smallint', 'ebitda_2025': 'smallint', 'ebitda_2026': 'smallint', 'ev_ebitda': 'float', 'media_5y': 'float', 'maior_1dp':            "remove_columns": "[]",'float', 'menor_1dp': 'float'}"
                        "file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Demanda RC.xlsx",
  }

Diário

(13 0 0 ? * *)

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_hoff_solucoes

Code Block

language	json

{
                        "sheetbase_nameurl": "Onda3https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
                        "remove_linesfile": "[0]/sites/JornadaCrescimento/Documentos Partilhados/Processar/Hoff Soluções/Hoff Soluções.xlsx",
                        "tablesheet_name": "demanda_rc"Projetos Arquitetônicos",
                    }

Diário

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_dias_de_estoque_deca

Code Block

language	json

{    "remove_lines": "[0]",
                        "remove_columns": "[]",
                        "database": "baseshoff_modelos_projecoessolucoes",
                        "base_urltable": "https://duratexsa.sharepoint.com/sites/JornadaCrescimentohoff_solucoes",
                        "schema": "{'Datadata': 'date', 'Hydraano': 'intsmallint', 'Loucasproj_arquit': 'int', 'Metaisproj_arquit_reformas': 'int', 'RCproj_arquit_empreendimentos': 'int'}", 'proj_arquit_reformas_pf':                        "remove_columns": "[]",
                        "file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Dias de Estoque Deca.xlsx",'int', 'proj_arquit_reformas_pj': 'int', 'proj_arquit_reformas_2019_10': 'int', 'proj_arquit_empreendimentos_2019_100': 'int', 'proj_arquit_empreendimentos_n': 'int', 'proj_arquit_empreendimentos_ne': 'int', 'proj_arquit_empreendimentos_co': 'int', 'proj_arquit_empreendimentos_se': 'int', 'proj_arquit_empreendimentos_s': 'int', 'ano2': 'int', 'proj_arquit_reformas_ano': 'string', 'proj_arquit_empreendimentos_ano': 'string'}"
                            "sheet_name": "Onda3",
            }

Diário

(13 0 0 ? * *)

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_sell_out_deca

Code Block

language	json

{
               "remove_lines         "base_url": "[0]https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
                        "tablefile": "dias_de_estoque_deca"
/sites/JornadaCrescimento/Documentos Partilhados/Processar/Sell-out Deca/Sell-out Deca.xlsx",
                        "sheet_name": "Sheet1",
                   }

Diário

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_dias_de_estoque_madeira

Code Block

language	json

{
         "remove_lines": "[0]",
                        "databaseremove_columns": "bases_modelos_projecoes[]",
                        "base_urldatabase": "https://duratexsa.sharepoint.com/sites/JornadaCrescimentoindicadores_mercado",
                        "schematable": "{'Data':'date','Industria_PA':'int','Industria_Chapas':'int','Varejo_Madeirado':'int','Varejo_Brancos':'int'}",tb_sell_out_deca",
                        "remove_columnsschema": "[]",
           {'ano': 'int', 'mes': 'int', 'ano_mes': 'string', 'Sellout_Metais': 'float', 'Sellout_Loucas': 'float', 'Sellout_Hydra': 'float', 'Sellout_RC': 'float'}"
            "file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Dias de Estoque Madeira.xlsx",      }

Diário

(13 0 0 ? * *)

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_investing_taxa_de_longo_prazo

Code Block

{
                  "sheet_name      "base_url": "Onda3https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
                        "remove_linesfile": "[0]",/sites/JornadaCrescimento/Documentos Partilhados/Processar/Taxa de Longo Prazo/Taxa de Longo Prazo.xlsx",
                         "table": "dias_de_estoque_madeira"
                    }

Diário

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

Tabelas referentes ao job: coletor_excel_sharepoint_bases_modelos_projecao

  "sheet_name": "Onda1",
                        "remove_lines": "[]",
                        "remove_columns": "[]",
                        "database": "investing",
                        "table": "tb_brazil_10_year_bond_yield_sharepoint_silver",
                        "schema": "{'Data': 'date','10y_Brazilian_Bond': 'double'}"
                    }

Diário

(13 0 0 ? * *)

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

Tabelas referentes ao job: coletor_excel_sharepoint

indicadores_mercado.tb_energia_eletrica
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
mes	Não	Não	Não		date
energia_eletrica_brasil	Não	Não	Não		double
energia_eletrica_brasil_projecao	Não	Não	Não		double

View file

name	indicadores_mercado.tb_energia_eletrica.csv

indicadores_mercado.tb_economia_vs_poa
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
mes_ytd	Não	Não	Não		date
inflacao_acumulada_reais_madeira	Não	Não	Não		double
inflacao_acumulada_reais_deca	Não	Não	Não		double
inflacao_acumulada_reais_rc	Não	Não	Não		double
inflacao_acumulada_reais_total	Não	Não	Não		double
perc_spend_total	Não	Não	Não		double

View file

name	indicadores_mercado.tb_economia_vs_poa.csv

indicadores_mercado.tb_market_consensus
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
data	Não	Não	Não		date
ebitda_2022	Não	Não	Não		smallint
ebitda_2023	Não	Não	Não		smallint
ebitda_2024	Não	Não	Não		smallint
ebitda_2025	Não	Não	Não		smallint
ebitda_2026	Não	Não	Não		smallint
ev_ebitda	Não	Não	Não		float
media_5y	Não	Não	Não		float
maior_1dp	Não	Não	Não		float
menor_1dp	Não	Não	Não		float

View file

name	indicadores_mercado.tb_market_consensus.csv

hoff_solucoes.hoff_solucoes
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description

Data

data	Não	Não	Não		date
ano	Não	Não	Não		smallint

Metais

proj_

Basicos

arquit

Não

int

Metais

proj_arquit_

Competitivos

reformas

Não

int

Metais

proj_

Medio

arquit_

Luxo

empreendimentos

Não

int

Metais_Exportacao


proj_arquit_reformas_pf	Não	Não	Não		int

Loucas_Bacias_Competitivas


proj_arquit_reformas_pj	Não	Não	Não		int

Loucas_Bacias_Izy

bases_modelos_projecoes.demanda_madeira

Field

Key

Not Null

Partition

Element

Type

Size

Decimal

Description

Data


proj_arquit_reformas_2019_10	Não	Não	Não		int

View file

name	bases_modelos_projecoes.demanda_deca.csv

proj_arquit_empreendimentos_2019_100	Não	Não	Não		int
proj_arquit_empreendimentos_n	Não	Não	Não

date

int
proj_arquit_empreendimentos_ne	Não	Não	Não

MDP_Revestido

int
proj_arquit_empreendimentos_co	Não	Não	Não		int

MDP_Cru


proj_arquit_empreendimentos_se	Não	Não	Não		int

MDF_Revestido


proj_arquit_empreendimentos_s	Não	Não	Não		int

MDF_Cru


ano2	Não	Não	Não		int

View file

name	bases_modelos_projecoes.demanda_madeira.csv

bases_modelos_projecoes.demanda_rc

Field

Key

Not Null

Partition

Element

Type

Size

Decimal

Description

Data

proj_arquit_reformas_ano

Não

date

Porcelanato

string
proj_arquit_empreendimentos_ano	Não	Não	Não

int

string

View file

name	baseshoff_modelos_projecoessolucoes.demandahoff_rcsolucoes.csv

bases

indicadores_

modelos_projecoes

mercado.

dias

tb_

de

sell_

estoque

out_deca
Field	Key	Not Null	Partition

Element

Type

Size

Decimal

Description

Data

Não

date

Hydra

Não

int

Loucas

	Element	Type	Size	Decimal	Description
ano	Não	Não	Não		int

Metais


mes	Não	Não	Não		int

RC


ano_mes	Não	Não	Não

int

bases_modelos_projecoes.dias_de_estoque_madeira

Field

Key

Not Null

Partition

Element

Type

Size

Decimal

Description

Data

string

View file

name	bases_modelos_projecoes.dias_de_estoque_deca.csv

Sellout_Metais	Não	Não	Não		float
Sellout_Loucas	Não	Não	Não

date

float

Industria_PA


Sellout_Hydra	Não	Não	Não	float
Sellout_RC	Não	Não	Não

int

Industria_Chapas

Não

int

Varejo_Madeirado

float

View file

name	indicadores_mercado.tb_sell_out_deca.csv

investing.tb_brazil_10_year_bond_yield_sharepoint_silver
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
Data	Não	Não	Não

int

date

Varejo

10y_Brazilian_

Brancos

Bond

Não

int

double

View file

name	bases_modelos_projecoes.dias_de_estoque_madeirainvesting.tb_brazil_10_year_bond_yield_sharepoint_silver.csv

Version	Old Version 3	New Version Current
Changes made by	Anonymous	Anonymous
Saved on	Aug 15, 2022	Oct 24, 2022

Content Comparison

Versions Compared

Key

Task

Parâmetros

Periodicidade

Notebook

Repositório

Field

Key

Not Null

Partition

Element

Type

Size

Decimal

Description

Field

Key

Not Null

Partition

Element

Type

Size

Decimal

Description

Field

Key

Not Null

Partition

Element

Type

Size

Decimal

Description

Field

Key

Not Null

Partition

Element

Type

Size

Decimal

Description

Field

Key

Not Null

Partition

Element

Type

Size

Decimal

Description

Field

Key

Not Null

Partition

Element

Type

Size

Decimal

Description

Field

Key

Not Null

Partition

Element

Type

Size

Decimal

Description

Element

Type

Size

Decimal

Description

Field

Key

Not Null

Partition