• Os dados estão na sua maneira mais pura possível

• Diversos formatos de arquivos

• Podem estar particionados por data

• Só é visível para os engenheiros

• Contém dados sensíveis

Sistemas

• SAP_ECC

• SAP_S4

• SALES_FORCE

Regras

No notebook preencha a primeira célula com as informações:

• Nome do schema e tabela sendo gerada

• O link do Jira e o ID da tarefa

• @ do responsável pela tarefa

• Data de atualização do script

• Não há filtros e nem alteração dos dados

• Desenvolvido em pyspark

• Todas as tabelas extraídas não terão nenhum tratamento estando em sua forma bruta, com exceção do sistema sales force onde o delta já deverá ser calculado já nesta etapa.

Padrão de variáveis para ingestões automatizadas

Dado que as ingestões podem vir de variados sistemas e origens a seguinte nomenclatura de variáveis abaixo deve ser adotada como objetivo do script da camada bronze conseguir abstrair todas as ingestões (quando possível).