DGA-548 Leo Madeira: Recebimento de arquivo por e-mail
- Thiago de Souza Silva (Unlicensed)
Código Repositório: https://bitbucket.org/duratex/arquitetura-dados-leo-madeira/src/develop/
CARD:
Objetivo: Bucar anexo que recebe no e-mail (svc.analytics@duratex.com.br) e salvar direto na tabela “estoque” do databicks.
É importante verificar se as SECRETS(EMAIL_USER, EMAIL_PASSWORD) estão corretas, pois elas são responsáveis por fazer login no e-mail.
É importante ficar atento a função “write_table”, pois é la que ocorre o salvamento dos dados do anexo na tabela do databricks e também onde ocorre a definição do nome da tabela.
É importante ficar atento ao nome do anexo que vem no e-mail. Na função “get_email()” na linha 160 é feita uma condição com base no nome do anexo, é necessario que este nome esteja batendo com o nome do anexo recebido no e-mail.
Temos uma função “get_filename()”, ela é responsavel por checar o nome do anexo caso a linha 155 na função “get_email()” não o encontre. É necessário que o nome do anexo também esteja igual o nome dentro da função que é usado para fazer a busca, isso fica na linha 45 (idx = msg.index("Dutarex_Recomendacao_de_compra")).
EXECUTANDO O CÓDIGO
Após atentar-se aos pontos importantes, o próximo passo é executar o Notebook que gerará uma nova tabela (estoque) diretamente no databricks.
O código que precisa ser executado está no caminho https://dbc-9570c746-ec11.cloud.databricks.com/?o=3606981051492833#notebook/4391530239911140/command/4391530239911141
O database é “leo_madeira” e a tabela é “estoque”.
O nome do notebook a ser executado no databricks é “execute”.
SCHEMA DA TABELA
