...
Path: jobs/dev/03__layers/01__bronze/processo/2023-02-03__bronze__variaveis_de_producao
...
Após a execução os dados são enviados para a Camada Bronze no hive_metastorage dentro do DataBricks. A tabela é salva no banco de dados golden_batch__bronzecom o nome golden_batch__bronze.database__production_line.
...
Path: jobs/dev/03__layers/01__bronze/laboratorio/2023-0203-0320__bronze__variaveis_de_laboratorio
...
Path: jobs/dev/03__layers/02__silver/processo/2023_03_09__silver__production_line
...
Foram identificados os valores unicos únicos das colunas do tipo string e removido as colunas que não continham informações relevantes
...
O formato da tabela foi mudado alterado do formato wide para o formato long e foram excluidos excluídos os valores nulos.
...
E os dados foram transformado no objeto Spark Dataframe e registrados na Camada Silver . A tabela é salva no banco de dados golden_batch__silver com o nome golden_batch__silver.database__production_line.
...
Path: jobs/dev/03__layers/02__silver/laboratorio/2023_03_0921__silver__variaveislaboratory_de_laboratoriovariables
É necessário a instalação do pacote slugify para a padronização dos caracteres em letras minúsculas para os nomes das colunas e utilização de underline como separador.
...
Foram selecionadas as colunas que serão utilizadas na camada silver
...
O formato da tabela foi mudado transformado do formato wide para o formato long e foram excluidos os valores nulos
...