DGA-492 Metadata discovery - pipelines do Airflow

Código Repositório: https://dbc-9570c746-ec11.cloud.databricks.com/?o=3606981051492833#notebook/1553702153899962/command/1553702153899964 

CARD:

https://dtxlab.atlassian.net/jira/software/projects/DGA/boards/407/roadmap?assignee=61b787c5ef5b460071fccbd4&selectedIssue=DGA-492

Objetivo: Objetivo: Extrair a lista de pipelines do Airflow e gerar um CSV.

• É importante verificar a autenticidade das secrets(scope = 'SVC-AWS-ANALYTICS', key = 'ACCESS_KEY'), elas são responsáveis por dar acesso a conta aws e ao boto3. 

EXECUTANDO O CÓDIGO

• Após verificar a autenticidade das secrets, o próximo passo é executar o Notebook que irá gerar um dataframe com a estrutura com todos as pipelines. 

• Nele é possível extrair os dados para um csv e fazer o download.