Versions Compared

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.

...

Padrão para armazenamento de arquivos no S3 conforme o caso de uso.

Caso de uso

Nome do bucket

Injestão de dados automatizada

dexco-data-in

Caso de uso: Ingestão de dados vindos de ferramentas de automação de integração/extração/ETL.

Características:

  • Processo automático que é executado periodicamente por uma ferramenta externa

  • Armazenamento separado em pastas YYYY/MM/DD

  • Não necessita archiving, pois o arquivos são separados por pasta, para evitar sobrescrita. Em caso de reprocessamento, basta acessar a pasta do dia desejado.

...

Observações: Permissões somente leitura/escrita, ou seja, sem permissão de exclusão de arquivo para manter o histórico.

Casos de uso: Upload manual de arquivos.

Casos de uso: Arquivamento de dados, backup, unload de tabelas do Redshift.

Casos de uso: Envio de arquivo para terceiros.

Casos de uso: Transferência de dados entre ambientes (DEV, STG, PRD) ou entre serviços, por exemplo do Databricks para o Redshift.