/
DGA-493 Metadata discovery - buckets AWS

Código Repositório: https://dbc-9570c746-ec11.cloud.databricks.com/?o=3606981051492833#notebook/1553702153899957/command/1553702153899959

CARD:

https://dtxlab.atlassian.net/jira/software/projects/DGA/boards/407/roadmap?assignee=61b787c5ef5b460071fccbd4&selectedIssue=DGA-493

 

Objetivo: Extrair a listagem de todos os buckets que temos hoje nas contas AWS.

  • É importante verificar a autenticidade das secrets(scope = 'SVC-AWS-ANALYTICS', key = 'ACCESS_KEY'), elas são responsáveis por dar acesso a conta aws e ao boto3.

 

EXECUTANDO O CÓDIGO

  • Após verificar a autenticidade das secrets, o próximo passo é executar o Notebook que irá gerar um dataframe com a estrutura com todos os buckets.

 

  • Nele é possível extrair os dados para um csv e fazer o download.

Está imagem mostra o exemplo da estrutura dos dados.