• Os dados estão na sua maneira mais pura possível

• Diversos formatos de arquivos

• Podem estar particionados por data

• Oculta para as áreas de negócios

• Contém dados sensíveis

Sistemas

• SAP_ECC

• SAP_S4

• SALES_FORCE

Regras

No notebook preencha a primeira célula com as informações:

• Nome do schema e tabela sendo gerada

• O link do Jira e o ID da tarefa

• @ do responsável pela tarefa

• Data de atualização do script

• Não há filtros e nem alteração dos dados

• Desenvolvido em pyspark

• Todas as tabelas extraídas não terão nenhum tratamento estando em sua forma bruta, com exceção do sistema sales force onde o delta já deverá ser calculado já nesta etapa.

• Os resultados finais desta etapa devem ser salvos em formato de tabela delta, independente do formato de entrada

Padrão de variáveis para ingestões automatizadas

Dado que as ingestões podem vir de variados sistemas e origens a seguinte nomenclatura de variáveis abaixo deve ser adotada como objetivo do script da camada bronze conseguir abstrair todas as ingestões (quando possível).

Open