Content Comparison

Esta página tem como finalidade documentar o processo de coleta dos dados de planilhas presentes no Sharepoint.

A extração dos dados foi realizada utilizando linguagem de programação Python, com framework Spark em um Cluster Databrics da Dexco.

Este processo consome as APIs oficiais do Sharepoint via biblioteca escrita em Python.

Resumo do Processo

Baseado em configurações informadas ao job no momento de configuração, o coletor realiza as seguintes etapas:

Recupera secrets de chave USER e PASSWORD do escopo USER_DIEGO
Autentica no Sharepoint
Realiza o download da planilha em ambiente local do cluster
Transforma os dados da planilha e aba especificada durante a etapa de configuração do job em tabela Spark

Configuração do Job

Embaixo da chave tasks do arquivo .json de configuração de um agendamento de job do Databricks, utilize a seguinte estrutura, conforme utilizada na orquestração da extração da planilha Market Consensus.xlsx :

Code Block{ ... "tasks": [ { "task_key": "coletor_market_consensus", "notebook_task": { "notebook_path": "/Repos/paulo.werneck-ext@dex.co/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint", "base_parameters": { "database": "indicadores_mercado", "base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento", Esta página tem como finalidade documentar o processo de coleta dos dados de planilhas presentes no Sharepoint.

A extração dos dados foi realizada utilizando linguagem de programação Python, com framework Spark em um Cluster Databrics da Dexco.

Este processo consome as APIs oficiais do Sharepoint via biblioteca escrita em Python.

Resumo do Processo

Baseado em configurações informadas ao job no momento de configuração, o coletor realiza as seguintes etapas:

Recupera secrets de chave USER e PASSWORD do escopo USER_DIEGO
Autentica no Sharepoint
Realiza o download da planilha em ambiente local do cluster
Transforma os dados da planilha e aba especificada durante a etapa de configuração do job em tabela Spark

Configuração do Job

Embaixo da chave tasks do arquivo .json de configuração de um agendamento de job do Databricks, utilize a seguinte estrutura, conforme utilizada na orquestração da extração da planilha Market Consensus.xlsx :

Code Block

{
...
"tasks": [
    {
        "schematask_key": "{'data': 'date', 'ebitda_2022': 'smallint', 'ebitda_2023': 'smallint', 'ebitda_2024': 'smallint', 'ebitda_2025': 'smallint', 'ebitda_2026': 'smallint', 'ev_ebitda': 'float', 'media_5y': 'float', 'maior_1dp': 'float', 'menor_1dp': 'float'}",
   coletor_market_consensus",
        "notebook_task": {
            "notebook_path": "/Repos/paulo.werneck-ext@dex.co/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint",
            "removebase_columnsparameters": "[]",{
                "filedatabase": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Market Consensus/Market Consensus.xlsxindicadores_mercado",
                "sheetbase_nameurl": "Consensushttps://duratexsa.sharepoint.com/sites/JornadaCrescimento",
                "remove_linesschema": "[0, 1]",
                "table": "market_consensus"{'data': 'date', 'ebitda_2022': 'smallint', 'ebitda_2023': 'smallint', 'ebitda_2024': 'smallint', 'ebitda_2025': 'smallint', 'ebitda_2026': 'smallint', 'ev_ebitda': 'float', 'media_5y': 'float', 'maior_1dp': 'float', 'menor_1dp': 'float'}",
                 },"remove_columns": "[]",
                "sourcefile": "WORKSPACE"/sites/JornadaCrescimento/Documentos Partilhados/Processar/Market Consensus/Market Consensus.xlsx",
        },         "existingsheet_cluster_idname": "0523-180911-cnxb45ryConsensus",
                "timeoutremove_secondslines": "[0, 1]",
                "table": "emailmarket_notifications": {}
consensus"
            },
            "source": "WORKSPACE"
   }   ], ... }

OBS: É possível adicionar mais de uma task, de

,
        "existing_cluster_id": "0523-180911-cnxb45ry",
        "timeout_seconds": 0,
        "email_notifications": {}
    }
  ],
...
}

OBS: É possível adicionar mais de uma task, de acordo com a necessidade.

...

Relação de Jobs x Notebooks que compõem o processo:

Databrics job: coletor_excel_sharepoint

indicadores_mercado.economia_vs_poa

Field

Key

Not Null

Partition

Element

Type

Size

Decimal

Description

mes_ytd

Não

date

inflacao_acumulada_reais_madeira

Não

double

inflacao_acumulada_reais_deca

Não

double

inflacao_acumulada_reais_rc

Task

Parâmetros

Periodicidade

Notebook

Repositório

coletor_economiaenergia_vs_poaeletrica

json

Code Block

language

{
                        "databasebase_url": "indicadores_mercadohttps://duratexsa.sharepoint.com/sites/JornadaCrescimento",
                        "base_urlfile": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento/sites/JornadaCrescimento/Documentos Partilhados/Processar/Energia Elétrica/Energia Elétrica.xlsx",
                        "schemasheet_name": "{'mes_ytd':'date','inflacao_acumulada_reais_madeira':'double','inflacao_acumulada_reais_deca':'double','inflacao_acumulada_reais_rc':'double','inflacao_acumulada_reais_total':'double'}"Sheet1",
                        "remove_lines": "[0,1,2,3]",
                        "remove_columns": "['UnnamedID: 5']",'Dados
para Gráfico','Unnamed: 7','Unnamed: 8','Unnamed: 9']",                         "filedatabase": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Economia vs POA (Suprimentos)/Economia vs POA.xlsxindicadores_mercado",
                        "sheet_nametable": "Economiatb_energia_eletrica",
                        "remove_linesschema": "[0]",
                        "table": "economia_vs_poa{'mes':'date','energia_eletrica_brasil':'double','energia_eletrica_brasil_projecao':'double'}"
                    }

Diário

(13 0 0 ? * *)

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_economia_marketvs_consensuspoa

Code Block

language	json

{
             
          "database": "indicadores_mercado",                         "base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
                        "schemafile": "{'data': 'date', 'ebitda_2022': 'smallint', 'ebitda_2023': 'smallint', 'ebitda_2024': 'smallint', 'ebitda_2025': 'smallint', 'ebitda_2026': 'smallint', 'ev_ebitda': 'float', 'media_5y': 'float', 'maior_1dp': 'float', 'menor_1dp': 'float'}",
        /sites/JornadaCrescimento/Documentos Partilhados/Processar/Economia vs POA (Suprimentos)/Economia vs POA.xlsx",
                        "removesheet_columnsname": "[]Economia",
                        "fileremove_lines": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Market Consensus/Market Consensus.xlsx[0]",
                        "sheetremove_namecolumns": "Consensus",
['Unnamed: 6','Dados para Gráfico','Unnamed: 8','Unnamed: 9','Unnamed: 10']",
                        "remove_linesdatabase": "[0, 1]indicadores_mercado",
                        "table": "market_consensus"tb_economia_vs_poa",
                    }

Diário

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_hoff_solucoes

Code Block

language	json

{
                        "database": "hoff_solucoes",
                        "base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",    "schema": "{'mes_ytd':'date','inflacao_acumulada_reais_madeira':'double','inflacao_acumulada_reais_deca':'double','inflacao_acumulada_reais_rc':'double','inflacao_acumulada_reais_total':'double', 'perc_spend_total':'double'}"
                    }

Diário

(13 0 0 ? * *)

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_market_consensus

Code Block

language	json

{
    "schema": "{'data': 'date', 'ano': 'smallint', 'proj_arquit': 'int', 'proj_arquit_reformas': 'int', 'proj_arquit_empreendimentos': 'int', 'proj_arquit_reformas_pf': 'int', 'proj_arquit_reformas_pj': 'int', 'proj_arquit_reformas_2019_10': 'int', 'proj_arquit_empreendimentos_2019_100': 'int', 'proj_arquit_empreendimentos_n': 'int', 'proj_arquit_empreendimentos_ne': 'int', 'proj_arquit_empreendimentos_co': 'int', 'proj_arquit_empreendimentos_se': 'int', 'proj_arquit_empreendimentos_s': 'int', 'ano2': 'int', 'proj_arquit_reformas_ano': 'string', 'proj_arquit_empreendimentos_ano': 'string'}                 "base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
                        "file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Market Consensus/Market Consensus.xlsx",
                        "removesheet_columnsname": "[]Consensus",
                        "fileremove_lines": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Hoff Soluções/Hoff Soluções.xlsx[0, 1]",
                        "sheetremove_namecolumns": "Projetos Arquitetônicos[]",
                        "remove_linesdatabase": "[0]indicadores_mercado",
                        "table": "hofftb_market_solucoesconsensus",
                    }

Diário

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_sell_out_deca

Code Block

language	json

{
                        "database": "indicadores_mercado",     "schema": "{'data': 'date', 'ebitda_2022': 'smallint', 'ebitda_2023': 'smallint', 'ebitda_2024': 'smallint', 'ebitda_2025': 'smallint', 'ebitda_2026': 'smallint', 'ev_ebitda': 'float', 'media_5y': 'float', 'maior_1dp': 'float', 'menor_1dp': 'float'}"
                        "base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",}

Diário

(13 0 0 ? * *)

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_hoff_solucoes

Code Block

language	json

{
                        "schemabase_url": "{'ano': 'string', 'mes': 'string', 'ano_mes': 'string', 'Sellout_Metais': 'float', 'Sellout_Loucas': 'float', 'Sellout_Hydra': 'float', 'Sellout_RC': 'float'}https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
                        "file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Hoff Soluções/Hoff Soluções.xlsx",
                        "removesheet_columnsname": "[]Projetos Arquitetônicos",
                        "fileremove_lines": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Sell-out Deca/Sell-out Deca.xlsx"[0]",
                        "sheetremove_namecolumns": "Sheet1[]",
                        "remove_linesdatabase": "[0, 1]hoff_solucoes",
                        "table": "tb_sell_out_deca"hoff_solucoes",
                       }

Diário

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_investing_taxa_de_longo_prazo

Code Block

{
                "task_key": "coletor_investing_taxa_de_longo_prazo",
                "notebook_task": { "schema": "{'data': 'date', 'ano': 'smallint', 'proj_arquit': 'int', 'proj_arquit_reformas': 'int', 'proj_arquit_empreendimentos': 'int', 'proj_arquit_reformas_pf': 'int', 'proj_arquit_reformas_pj': 'int', 'proj_arquit_reformas_2019_10': 'int', 'proj_arquit_empreendimentos_2019_100': 'int', 'proj_arquit_empreendimentos_n': 'int', 'proj_arquit_empreendimentos_ne': 'int', 'proj_arquit_empreendimentos_co': 'int', 'proj_arquit_empreendimentos_se': 'int', 'proj_arquit_empreendimentos_s': 'int', 'ano2': 'int', 'proj_arquit_reformas_ano': 'string', 'proj_arquit_empreendimentos_ano': 'string'}"
                    "notebook_path": "}

Diário

(13 0 0 ? * *)

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

",

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_sell_out_deca

Code Block

language	json

{
                        "base_parametersurl": {"https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
                        "base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
                        "file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Taxa de Longo Prazo/Taxa de Longo PrazoSell-out Deca/Sell-out Deca.xlsx",
                        "sheet_name": "Onda1Sheet1",
                        "remove_lines": "[0]",
                        "remove_columns": "[]",
                        "database": "investingindicadores_mercado",
                        "table": "tb_brazilsell_10_year_bond_yield_sharepoint_silverout_deca",
                        "schema": "{'Dataano': 'dateint', '10y_Brazilian_Bondmes': 'doubleint'}"
                    },, 'ano_mes': 'string', 'Sellout_Metais': 'float', 'Sellout_Loucas': 'float', 'Sellout_Hydra': 'float', 'Sellout_RC': 'float'}"
                    "source": "WORKSPACE"}

Diário

(13 0 0 ? * *)

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_investing_taxa_de_longo_prazo

Code Block

{
                },        "base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
         "existing_cluster_id": "0523-180911-cnxb45ry",               "file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Taxa de Longo Prazo/Taxa de Longo Prazo.xlsx",
                 "timeout_seconds       "sheet_name": 0,"Onda1",
                        "emailremove_notificationslines": {}"[]",
             }

Diário

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

Tabelas referentes ao job: coletor_excel_sharepoint

           "remove_columns": "[]",
                        "database": "investing",
                        "table": "tb_brazil_10_year_bond_yield_sharepoint_silver",
                        "schema": "{'Data': 'date','10y_Brazilian_Bond': 'double'}"
                    }

Diário

(13 0 0 ? * *)

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

Tabelas referentes ao job: coletor_excel_sharepoint

...

indicadores_mercado.tb_energia_eletrica
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
mes	Não	Não	Não		doubledate
inflacaoenergia_acumuladaeletrica_reais_totalbrasil	Não	Não	Não		double
energia_eletrica_brasil_projecao	Não	Não	Não

...

double

indicadores_mercado.tb_economia_vs_poa

...

indicadores_mercado.market_consensus


Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description

data

mes_ytd

Não

date

ebitda_2022


inflacao_acumulada_reais_madeira	Não	Não	Não

smallint

double

ebitda_2023


inflacao_acumulada_reais_deca	Não	Não	Não

smallint

double

ebitda_2024


inflacao_acumulada_reais_rc	Não	Não	Não

smallint

double

ebitda_2025


inflacao_acumulada_reais_total	Não	Não	Não

smallint

double

ebitda

perc_spend_

2026

total

Não

double

View file

...

smallint

...

ev_ebitda

...

Não

...

Não

...

Não

...

float

...

media_5y

...

Não

...

Não

...

Não

...

float

...

maior_1dp

name	indicadores_mercado.economia_vs_poa.csv

indicadores_mercado.tb_market_consensus
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
data	Não	Não	Não		float	menor_1dpdate
ebitda_2022	Não	Não	Não		floatsmallint

...

indicadores_mercado.hoff_solucoes

Field

Key

Not Null

Partition

Element

Type

Size

Decimal

Description

data

...

ebitda_2023

Não

date

smallint

ano


ebitda_2024	Não	Não	Não		smallint

proj

ebitda_

arquit

2025

Não

int

smallint

proj

ebitda_

arquit_reformas

2026

Não

int

proj_arquit_empreendimentos

smallint
ev_ebitda	Não	Não	Não

int

proj_arquit_reformas_pf

float
media_5y	Não	Não	Não

int

float

proj_arquit_reformas_pj


maior_1dp	Não	Não	Não

int

float

proj_arquit_reformas_2019_10


menor_1dp	Não	Não	Não

int

proj_arquit_empreendimentos_2019_100

Não

int

proj_arquit_empreendimentos_n

float

View file

name	indicadores_mercado.market_consensus.csv

indicadores_mercado.tb_sell_out_deca

Field

Key

Not Null

Partition

Element

Type

Size

Decimal

Description

ano

hoff_solucoes.hoff_solucoes
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
data	Não	Não	Não		int	proj_arquit_empreendimentos_nedate
ano	Não	Não	Não		smallint
proj_arquit	Não	Não	Não		int
proj_arquit_reformas	Não	Não	Não		int
proj_arquit_empreendimentos_co	Não	Não	Não		int
proj_arquit_empreendimentosreformas_sepf	Não	Não	Não		int
proj_arquit_empreendimentosreformas_spj	Não	Não	Não		intano2
proj_arquit_reformas_2019_10	Não	Não	Não		int
proj_arquit_empreendimentos_reformas2019_ano100	Não	Não	Não		stringint
proj_arquit_empreendimentos_anon	Não	Não	Não		string

View file

name	indicadores_mercado.hoff_solucoes.csv

int
proj_arquit_empreendimentos_ne	Não	Não	Não	int
proj_arquit_empreendimentos_co	Não	Não	Não	int
proj_arquit_empreendimentos_se	Não	Não	Não	int
proj_arquit_empreendimentos_s	Não	Não	Não

string

mes

int
ano2	Não	Não	Não

string

ano_mes

int
proj_arquit_reformas_ano	Não	Não	Não		string

Sellout_Metais

Não

float

Sellout_Loucas


proj_arquit_empreendimentos_ano	Não	Não	Não

float

Sellout_Hydra

Não

float

Sellout_RC

Não

float

string

View file

name	indicadores_mercado.tb_sell_out_decahoff_solucoes.csv

investing

indicadores_mercado.tb_

brazil

sell_

10_year_bond_yield_sharepoint_silver

out_deca
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description

Data

ano

Não

dateNão

int

10y_Brazilian_Bond

mes

Não

double

int

...

Databricks job: coletor_excel_sharepoint_bases_modelos_projecao

Task

Parâmetros

Periodicidade

Notebook

Repositório

coletor_demanda_deca

Code Block

language	json

{
                        "database": "bases_modelos_projecoes",
                        "base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
                        "schema": "{'Data':'date','Metais_Basicos':'int','Metais_Competitivos':'int','Metais_Medio_Luxo':'int','Metais_Exportacao':'int','Loucas_Bacias_Competitivas':'int','Loucas_Bacias_Izy':'int','Loucas_Bacias_Medio_Luxo':'int','Loucas_Cubas':'int','Loucas_Outros':'int','Loucas_Exportacao':'int','Chuveiros_Duchas':'int','Chuveiros_Torneiras_Eletricas':'int','Chuveiros_Torneiras_Plasticas':'int','Chuveiros_Outros':'int','Chuveiros_Exportacao':'int'}",
                        "remove_columns": "[]",
                        "file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Demanda Deca.xlsx",
                        "sheet_name": "Onda3",
                        "remove_lines": "[0]",
                        "table": "demanda_deca"
                    }

Diário

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_demanda_madeira

Code Block

language	json

{ "database": "bases_modelos_projecoes", "base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento", "schema": "{'Data':'date','MDP_Revestido':'int','MDP_Cru':'int','MDF_Revestido':'int','MDF_Cru':'int'}", "remove_columns": "[]",

...

ano_mes	Não	Não	Não	string
Sellout_Metais	Não	Não	Não	float
Sellout_Loucas	Não	Não	Não	float
Sellout_Hydra	Não	Não	Não	float
Sellout_RC	Não	Não	Não	float

View file

name	indicadores_mercado.tb_sell_out_deca.csv

investing.tb_brazil_10_year_bond_yield_sharepoint_silver
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
Data	Não	Não	Não		date
10y_Brazilian_Bond	Não	Não	Não		double

View file

name	investing.tb_brazil_10_year_bond_yield_sharepoint_silver.csv

Databricks job: coletor_excel_sharepoint_bases_modelos_projecao

...

Data

...

Não

...

Não

...

Não

...

date

...

Metais_Basicos

...

Não

...

Não

...

Não

...

int

...

Metais_Competitivos

...

Não

...

Não

...

Não

...

int

...

Metais_Medio_Luxo

...

Não

...

Não

...

Não

...

int

...

Metais_Exportacao

...

Não

...

Não

...

Não

...

int

...

Loucas_Bacias_Competitivas

...

Não

...

Não

...

Não

...

int

...

Loucas_Bacias_Izy

...

Não

...

Não

...

Não

...

int

...

Task

Parâmetros

Periodicidade

Notebook

Repositório

coletor_demanda_deca

Code Block

language	json

{
                        "filedatabase": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Demanda Madeira.xlsx "bases_modelos_projecoes",
                        "sheetbase_nameurl": "Onda3https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
                        "remove_lines": "[0]",
                        "table": "demanda_madeira"
                    }

Diário

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_demanda_rc

Code Block

language	json

{
                        "database": "bases_modelos_projecoes",
                        "base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
                        "schema": "{'Data':'date','Porcelanato "schema": "{'Data':'date','Metais_Basicos':'int','Metais_Competitivos':'int','Metais_Medio_Luxo':'int','Metais_Exportacao':'int','Loucas_Bacias_Competitivas':'int','Loucas_Bacias_Izy':'int','Loucas_Bacias_Medio_Luxo':'int','Loucas_Cubas':'int','Loucas_Outros':'int','Loucas_Exportacao':'int','Chuveiros_Duchas':'int','Chuveiros_Torneiras_Eletricas':'int','Chuveiros_Torneiras_Plasticas':'int','Chuveiros_Outros':'int','Chuveiros_Exportacao':'int'}",
                        "remove_columns": "[]",
                        "file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Demanda RCDeca.xlsx",
                        "sheet_name": "Onda3",
                        "remove_lines": "[0]",
                        "table": "demanda_rcdeca"
                    }

Diário

(13 0 1 ? * *)

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_dias_de_estoque_decademanda_rc

Code Block

language	json

{
                        "database": "bases_modelos_projecoes",
                        "base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",

                       "schema": "{'Data':'date','Hydra':'int','Loucas':'int','Metais':'int','RC "schema": "{'Data':'date','Porcelanato':'int'}",
                        "remove_columns": "[]",
                        "file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Dias de Estoque DecaDemanda RC.xlsx",
                        "sheet_name": "Onda3",
                        "remove_lines": "[0]",
                        "table": "dias_de_estoque_decademanda_rc"
                    }

Diário

(13 0 1 ? * *)

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_diasdemanda_dedeca_estoque_madeiraanual

json

Code Block

language

{
                        "database": "bases_modelos_projecoes",
                        "base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
                        "schema": "{'Datadata': 'datestring', 'Industria_PA':'int','Industria_ChapasMetais_MI_Total': 'intfloat', 'Varejo_Madeirado':'int','Varejo_BrancosLoucas_MI_Total': 'intfloat'}",
                        "remove_columns": "['Unnamed: 3']",
                        "file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Dias de Estoque Madeira.xlsx",
                        "sheet_name": "Onda3",
                        "remove_lines": "[0]Demanda Deca_Anual.xlsx",
                        "tablesheet_name": "dias_de_estoque_madeira"
                    }

Diário

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_projecoes_longo_prazo

Code Block

{Sheet1",
                        "databaseremove_lines": "bases_modelos_projecoes[0]",
                        "base_urltable": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
                        "schema": "{'indices': 'string', '2015': 'double', '2016': 'double', '2017': 'double', '2018': 'double', '2019': 'double', '2020': 'double', '2021': 'double', '2022': 'double', '2023': 'double', '2024': 'double', '2025': 'double', '2026': 'double', '2027': 'double'}"demanda_deca_anual"
                    }

Diário

(13 0 1 ? * *)

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_projecoes_longo_prazo

Code Block

{
                        "database": "bases_modelos_projecoes",
                        "removebase_columnsurl": "[]https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
                        "fileschema": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Projeções-Longo-Prazo.xlsx",
                        "sheet_name": "Plan1{'indices': 'string', '2009': 'double', '2010': 'double', '2011': 'double', '2012': 'double', '2013': 'double', '2014': 'double', '2015': 'double', '2016': 'double', '2017': 'double', '2018': 'double', '2019': 'double', '2020': 'double', '2021': 'double', '2022': 'double', '2023': 'double', '2024': 'double', '2025': 'double', '2026': 'double', '2027': 'double'}",
                        "remove_linescolumns": "[]",
                        "tablefile": "projecoes_longo_prazo"
                    }

Diário

/bronze/inteligencia-mercado/coletor-excel-sharepoint

Tabelas referentes ao job: coletor_excel_sharepoint_bases_modelos_projecao

...

bases_modelos_projecoes.demanda_deca

...

Field

...

Key

...

Not Null

...

Partition

...

Element

...

Type

...

Size

...

Decimal

...

Description

/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Projeções-Longo-Prazo.xlsx",
                        "sheet_name": "Plan1",
                        "remove_lines": "[]",
                        "table": "projecoes_longo_prazo"
                    }

Diário

(13 0 1 ? * *)

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

Tabelas referentes ao job: coletor_excel_sharepoint_bases_modelos_projecao

bases_modelos_projecoes.demanda_

madeira

deca
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
Data	Não	Não	Não		date

MDP

Metais_

Revestido

Basicos

Não

int

MDP

Metais_

Cru

Competitivos

Não

int

MDF

Metais_Medio_

Revestido

Luxo

Não

int

MDF

Metais_

Cru

bases_modelos_projecoes.demanda_rc

Field

Key

Not Null

Partition

Element

Type

Size

Decimal

Description

Data

Exportacao

Não

int

View file

name	bases_modelos_projecoes.demanda_madeira.csv

Loucas_Bacias_Competitivas	Não	Não	Não	int
Loucas_Bacias_Izy	Não	Não	Não	int
Loucas_Bacias_Medio_Luxo	Não	Não	Não

date

Porcelanato

int
Loucas_Cubas	Não	Não	Não		int


Loucas_Outros

Não

...

Não

...

bases_modelos_projecoes.dias_de_estoque_deca

Field

Key

Not Null

Partition

Element

Type

Size

Decimal

Description

Data

Não

...

name	bases_modelos_projecoes.demanda_rc.csv

	int
Loucas_Exportacao	Não	Não	Não	int
Chuveiros_Duchas	Não	Não	Não

date

Hydra

Loucas

int
Chuveiros_Torneiras_Eletricas	Não	Não	Não		int

Chuveiros_Torneiras_Plasticas

Não

int

Metais

RC


Chuveiros_Outros	Não	Não	Não		int

Chuveiros_Exportacao

Não

int

View file

name	bases_modelos_projecoes.dias_de_estoquedemanda_deca.csv

bases_modelos_projecoes.

dias_de_estoque_madeira

demanda_rc
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
Data	Não	Não	Não		date

Industria_PA


Porcelanato	Não	Não	Não		int

...

View file

name	bases_modelos_projecoes.demanda_rc.csv

bases_modelos_projecoes.coletor_demanda_deca_anual
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
data	Não	Não	Não

int

string

Varejo

Metais_MI_

Madeirado

Total

Não

int

float

Varejo

Loucas_MI_

Brancos

Total

Não

int

float

View file

name	bases_modelos_projecoes.dias_de_estoque_madeiradeca.csv

bases_modelos_projecoes.projecoes_longo_prazo
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
indice	Não	Não	Não		string
2009	Não	Não	Não		double
2010	Não	Não	Não		double
2011	Não	Não	Não		double
2012	Não	Não	Não		double
2013	Não	Não	Não		double
2014	Não	Não	Não		double
2015	Não	Não	Não		double
2016	Não	Não	Não		double
2017	Não	Não	Não		double
2018	Não	Não	Não		double
2019	Não	Não	Não		double
2020	Não	Não	Não		double
2021	Não	Não	Não		double
2022	Não	Não	Não		double
2023	Não	Não	Não		double
2024	Não	Não	Não		double
2025	Não	Não	Não		double
2026	Não	Não	Não		double
2027	Não	Não	Não		double

...

Version	Old Version 8	New Version 9
Changes made by	Anonymous	Anonymous
Saved on	Oct 19, 2022	Oct 24, 2022

Content Comparison

Versions Compared

Key

Resumo do Processo

Configuração do Job

Resumo do Processo

Configuração do Job

Field

Key

Not Null

Partition

Element

Type

Size

Decimal

Description

Task

Parâmetros

Periodicidade

Notebook

Repositório

Field

Key

Not Null

Partition

Element

Type

Size

Decimal

Description

Field

Key

Not Null

Partition

Element

Type

Size

Decimal

Description

Field

Key

Not Null

Partition

Element

Type

Size

Decimal

Description

Field

Key

Not Null

Partition

Element

Type

Size

Decimal

Description

Field

Key

Not Null

Partition

Element

Type

Size

Decimal

Description

Field

Key

Not Null

Partition

Element

Type

Size

Decimal

Description

Field

Key

Not Null

Partition

Element