Content Comparison

Esta página tem como finalidade documentar o processo de coleta dos dados de planilhas presentes no Sharepoint.

...

Relação de Jobs x Notebooks que compõem o processo:

Databricks job: coletor_excel_sharepoint_bases_modelos_projecao

Task

Parâmetros

Periodicidade

Notebook

Repositório

coletor_demanda_deca

Code Block

language	json

{
                        "database": "bases_modelos_projecoes",
                        "base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
                        "schema": "{'Data':'date','Metais_Basicos':'int','Metais_Competitivos':'int','Metais_Medio_Luxo':'int','Metais_Exportacao':'int','Loucas_Bacias_Competitivas':'int','Loucas_Bacias_Izy':'int','Loucas_Bacias_Medio_Luxo':'int','Loucas_Cubas':'int','Loucas_Outros':'int','Loucas_Exportacao':'int','Chuveiros_Duchas':'int','Chuveiros_Torneiras_Eletricas':'int','Chuveiros_Torneiras_Plasticas':'int','Chuveiros_Outros':'int','Chuveiros_Exportacao':'int'}",
                        "remove_columns": "[]",
                        "file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Demanda Deca.xlsx",
                        "sheet_name": "Onda3",
                        "remove_lines": "[0]",
                        "table": "demanda_deca"
                    }

Diário

(13 0 1 ? * *)

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_demanda_rc

Code Block

language	json

{
                        "database": "bases_modelos_projecoes",
                        "base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
                        "schema": "{'Data':'date','Porcelanato':'int'}",
                        "remove_columns": "[]",
                        "file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Demanda RC.xlsx",
                        "sheet_name": "Onda3",
                        "remove_lines": "[0]",
                        "table": "demanda_rc"
                    }

Diário

(13 0 1 ? * *)

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_demanda_deca_anual

Code Block

{
                        "database": "bases_modelos_projecoes",
                        "base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
                        "schema": "{'data': 'string', 'Metais_MI_Total': 'float', 'Loucas_MI_Total': 'float'}",
                        "remove_columns": "['Unnamed: 3']",
                        "file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Demanda Deca_Anual.xlsx",
                        "sheet_name": "Sheet1",
                        "remove_lines": "[0]",
                        "table": "demanda_deca_anual"
                    }

Diário

(13 0 1 ? * *)

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_projecoes_longo_prazo

Code Block

{
                        "database": "bases_modelos_projecoes",
                        "base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento",
                        "schema": "{'indices': 'string', '2009': 'double', '2010': 'double', '2011': 'double', '2012': 'double', '2013': 'double', '2014': 'double', '2015': 'double', '2016': 'double', '2017': 'double', '2018': 'double', '2019': 'double', '2020': 'double', '2021': 'double', '2022': 'double', '2023': 'double', '2024': 'double', '2025': 'double', '2026': 'double', '2027': 'double'}",
                        "remove_columns": "[]",
                        "file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Projeções-Longo-Prazo.xlsx",
                        "sheet_name": "Plan1",
                        "remove_lines": "[]",
                        "table": "projecoes_longo_prazo"
                    }

Diário

(13 0 1 ? * *)

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

...

View file

name	bases_modelos_projecoes.diascoletor_dedemanda_estoquedeca_decaanual.csv

bases_modelos_projecoes.projecoes_longo_prazo
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
indice	Não	Não	Não		string
2009	Não	Não	Não		double
2010	Não	Não	Não		double
2011	Não	Não	Não		double
2012	Não	Não	Não		double
2013	Não	Não	Não		double
2014	Não	Não	Não		double
2015	Não	Não	Não		double
2016	Não	Não	Não		double
2017	Não	Não	Não		double
2018	Não	Não	Não		double
2019	Não	Não	Não		double
2020	Não	Não	Não		double
2021	Não	Não	Não		double
2022	Não	Não	Não		double
2023	Não	Não	Não		double
2024	Não	Não	Não		double
2025	Não	Não	Não		double
2026	Não	Não	Não		double
2027	Não	Não	Não		double

...

Version	Old Version 1	New Version Current
Changes made by	Anonymous	Anonymous
Saved on	Oct 24, 2022	Oct 24, 2022

Content Comparison

Versions Compared

Key

Task

Parâmetros

Periodicidade

Notebook

Repositório

Field

Key

Not Null

Partition

Element

Type

Size

Decimal

Description