• Os dados estão na sua maneira mais pura possível

• Diversos formatos de arquivos

• Podem estar particionados por data

• Só é visível para os engenheirosOculta para as áreas de negócios

• Contém dados sensíveis

Sistemas

• SAP_ECC

• SAP_S4

• SALES_FORCE

Regras

No notebook preencha a primeira célula com as informações:

• Nome do schema e tabela sendo gerada

• O link do Jira e o ID da tarefa

• @ do responsável pela tarefa

• Data de atualização do script

• Não há filtros e nem alteração dos dados

• Desenvolvido em pyspark

• Todas as tabelas extraídas não terão nenhum tratamento estando em sua forma bruta, com exceção do sistema sales force onde o delta já deverá ser calculado já nesta etapa.

• Os resultados finais desta etapa devem ser salvos em formato de tabela delta, independente do formato de entrada

Padrão de variáveis para ingestões automatizadas

...