Content Comparison

...

“base_url“ (String) : URL do Diretório base onde os arquivos Excel estão armazenados dentro do Sharepoint
“file“ (String) : Caminho dentro da pasta do Sharepoint onde o arquivo Excel que será coletado
“sheet_name“ (String) : Nome da Aba do Excel no Sharepoint que será aberto para realizar a extração
“remove_lines“ ( Lista de Inteiros -> [0,1] ) : Números das linhas que serão puladas/removidas da extração dos dados (inicia sempre em zero e incremental em 1 para várias linhas sendo separado por vírgula), informe [] para não remover nenhuma linha.
“remove_columns” ( Lista de String -> ['Col1', 'Col2'] ) : Nome das colunas que serão puladas/removidas da extração dos dados, , informe [] para não remover nenhuma coluna.
“schema“ (Dict de Key (String) e Value (String) -> { 'Col1' : 'date', 'Col2' : 'smallint' }) :
“database” (String) : Nome do Banco de dados a ser criado a tabela
“table” (String): Nome da Tabela no Banco de dados do parâmetro “database“ que será criado a tabela

Tabelas que serão ingeridas pelo Coletor Sharepoint:

Repositório: https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

...

Databricks:

Relação de Jobs x Notebooks que compõem o processo:

Databricks job: coletor_excel_sharepoint_bases_modelos_projecao

Task

...

Parâmetros

Periodicidade

Notebook

Repositório

coletor_demanda_deca

Code Block

Nome do Parâmetro

language

Valor

base_url

json

{
                        "database": "bases_modelos_projecoes",
                        "base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento

file

/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Demanda Deca.xlsx

sheet_name

Onda3

remove_lines

[0]

remove_columns

[]

schema

",
                        "schema": "{'Data':'date','Metais_Basicos':'int','Metais_Competitivos':'int','Metais_Medio_Luxo':'int','Metais_Exportacao':'int','Loucas_Bacias_Competitivas':'int','Loucas_Bacias_Izy':'int','Loucas_Bacias_Medio_Luxo':'int','Loucas_Cubas':'int','Loucas_Outros':'int','Loucas_Exportacao':'int','Chuveiros_Duchas':'int','Chuveiros_Torneiras_Eletricas':'int','Chuveiros_Torneiras_Plasticas':'int','Chuveiros_Outros':'int','Chuveiros_Exportacao':'int'}

database

bases_modelos_projecoes

table

demanda_deca

Metadados da Tabela de Destino em CSV:

Task: coletor_demanda_madeira

Nome do Parâmetro

Valor

base_url

",
                        "remove_columns": "[]",
                        "file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Demanda Deca.xlsx",
                        "sheet_name": "Onda3",
                        "remove_lines": "[0]",
                        "table": "demanda_deca"
                    }

Diário

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_demanda_madeira

Code Block

language	json

{
                        "database": "bases_modelos_projecoes",
                        "base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento

file

/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Demanda Madeira.xlsx

sheet_name

Onda3

remove_lines

[0]

remove_columns

[]

schema

",
                        "schema": "{'Data':'date','MDP_Revestido':'int','MDP_Cru':'int','MDF_Revestido':'int','MDF_Cru':'int'}

database

bases_modelos_projecoes

table

demanda_madeira

Metadados da Tabela de Destino em CSV:

...

base_url

",
                        "remove_columns": "[]",
                        "file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Demanda Madeira.xlsx",
                        "sheet_name": "Onda3",
                        "remove_lines": "[0]",
                        "table": "demanda_madeira"
                    }

Diário

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_demanda_rc

Nome do Parâmetro

Valor

Code Block

language	json

{
                        "database": "bases_modelos_projecoes",
                        "base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento

file

",
                        "schema": "{'Data':'date','Porcelanato':'int'}",
                        "remove_columns": "[]",
                        "file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Demanda RC.xlsx

",
                        "sheet_name

Onda3

": "Onda3",
                        "remove_lines

": "[0]

remove_columns

[]

schema

{'Data':'date','Porcelanato':'int'}

database

bases_modelos_projecoes

table

demanda_rc

Metadados da Tabela de Destino em CSV:

...

",
                        "table": "demanda_rc"
                    }

Diário

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_dias_de_estoque_deca

Code Block

Nome do Parâmetro

base_url

language

Valor

json

{
                        "database": "bases_modelos_projecoes",
                        "base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento

file

/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Dias de Estoque Deca.xlsx

sheet_name

Onda3

remove_lines

[0]

remove_columns

[]

schema

",
                        "schema": "{'Data':'date','Hydra':'int','Loucas':'int','Metais':'int','RC':'int'}

database

bases_modelos_projecoes

table

",
                        "remove_columns": "[]",
                        "file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Dias de Estoque Deca.xlsx",
                        "sheet_name": "Onda3",
                        "remove_lines": "[0]",
                        "table": "dias_de_estoque_deca

Metadados da Tabela de Destino em CSV:

...

"
                    }

Diário

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

coletor_dias_de_estoque_madeira

Code Block

Nome do Parâmetro

base_url

language

Valor

json

{
                        "database": "bases_modelos_projecoes",
                        "base_url": "https://duratexsa.sharepoint.com/sites/JornadaCrescimento

file

/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Dias de Estoque Madeira.xlsx

sheet_name

Onda3

remove_lines

[0]

remove_columns

[]

schema

",
                        "schema": "{'Data':'date','Industria_PA':'int','Industria_Chapas':'int','Varejo_Madeirado':'int','Varejo_Brancos':'int'}

database

bases_modelos_projecoes

table

dias_de_estoque_madeira

...

",
                        "remove_columns": "[]",
                        "file": "/sites/JornadaCrescimento/Documentos Partilhados/Processar/Onda 3/Dias de Estoque Madeira.xlsx",
                        "sheet_name": "Onda3",
                        "remove_lines": "[0]",
                        "table": "dias_de_estoque_madeira"
                    }

Diário

/analytics-databricks-inteligencia-mercado/Workspace/bronze/inteligencia-mercado/coletor-excel-sharepoint

https://bitbucket.org/duratex/analytics-databricks-inteligencia-mercado/src/master/

Tabelas referentes ao job: coletor_excel_sharepoint_bases_modelos_projecao

bases_modelos_projecoes.demanda_deca
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
Data	Não	Não	Não		date
Metais_Basicos	Não	Não	Não		int
Metais_Competitivos	Não	Não	Não		int
Metais_Medio_Luxo	Não	Não	Não		int
Metais_Exportacao	Não	Não	Não		int
Loucas_Bacias_Competitivas	Não	Não	Não		int
Loucas_Bacias_Izy	Não	Não	Não		int

View file

name	bases_modelos_projecoes.demanda_deca.csv

bases_modelos_projecoes.demanda_madeira
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
Data	Não	Não	Não		date
MDP_Revestido	Não	Não	Não		int
MDP_Cru	Não	Não	Não		int
MDF_Revestido	Não	Não	Não		int
MDF_Cru	Não	Não	Não		int

View file

name	bases_modelos_projecoes.demanda_madeira.csv

bases_modelos_projecoes.demanda_rc
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
Data	Não	Não	Não		date
Porcelanato	Não	Não	Não		int

View file

name	bases_modelos_projecoes.demanda_rc.csv

bases_modelos_projecoes.dias_de_estoque_deca
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
Data	Não	Não	Não		date
Hydra	Não	Não	Não		int
Loucas	Não	Não	Não		int
Metais	Não	Não	Não		int
RC	Não	Não	Não		int

View file

name	bases_modelos_projecoes.dias_de_estoque_deca.csv

bases_modelos_projecoes.dias_de_estoque_madeira
Field	Key	Not Null	Partition	Element	Type	Size	Decimal	Description
Data	Não	Não	Não		date
Industria_PA	Não	Não	Não		int
Industria_Chapas	Não	Não	Não		int
Varejo_Madeirado	Não	Não	Não		int
Varejo_Brancos	Não	Não	Não		int

View file

name	bases_modelos_projecoes.dias_de_estoque_madeira.csv

Version	Old Version 2	New Version 3
Changes made by	Anonymous	Anonymous
Saved on	Aug 15, 2022	Aug 15, 2022

Content Comparison

Versions Compared

Key

Tabelas que serão ingeridas pelo Coletor Sharepoint:

Databricks:

Task

Parâmetros

Periodicidade

Notebook

Repositório

Field

Key

Not Null

Partition

Element

Type

Size

Decimal

Description

Field

Key

Not Null

Partition

Element

Type

Size

Decimal

Description

Field

Key

Not Null

Partition

Element

Type

Size

Decimal

Description

Field

Key

Not Null

Partition

Element

Type

Size

Decimal

Description

Field

Key

Not Null

Partition

Element

Type

Size

Decimal

Description