...
Verificamos a existencia da pasta para carregamento de dados de origem no Amazon S3 Storage por meio da função path_exists
Função que executa a carga de dados, remove caracteres especiais e salva a tabela na Camada Bronze no hive_metastoremetastorage dentro do DataBricks. A tabela é salva no banco de dados golden_batch__bronzecom o nome golden_batch__bronze.database__production_line.
...
Executa funções em conjunto as funções citadas:
...
E os dados foram transformado no objeto Spark Dataframe e registrados na Camada Silver . A tabela é salva no banco de dados golden_batch__silver com o nome golden_batch__silver.database__production_line.
...