/
DGA-492 Metadata discovery - pipelines do Airflow

 

Código Repositório: https://dbc-9570c746-ec11.cloud.databricks.com/?o=3606981051492833#notebook/1553702153899962/command/1553702153899964 

CARD:

https://dtxlab.atlassian.net/jira/software/projects/DGA/boards/407/roadmap?assignee=61b787c5ef5b460071fccbd4&selectedIssue=DGA-492

 

Objetivo: Objetivo: Extrair a lista de pipelines do Airflow e gerar um CSV.

  • É importante verificar a autenticidade das secrets(scope = 'SVC-AWS-ANALYTICS', key = 'ACCESS_KEY'), elas são responsáveis por dar acesso a conta aws e ao boto3. 


EXECUTANDO O CÓDIGO


  • Após verificar a autenticidade das secrets, o próximo passo é executar o Notebook que irá gerar um dataframe com a estrutura com todos as pipelines. 

  • Nele é possível extrair os dados para um csv e fazer o download.