Agrupador RQ

Este documento tem como objetivo descrever o processo AGRUPADOR_RQ, que foi desenvolvido no databricks.

Tarefa Jira de Desenvolvimento: https://dtxlab.atlassian.net/browse/AMDR-515

Nome da arquivo: AGRUPADOR_RQ.csv

Arquivo Utilizado:

Open

Nome do Notebook Databricks: AGRUPADOR_RQ

Link do Notebook Databricks: https://bitbucket.org/duratex/analytics-databricks-madeira/src/master/Workspace/analytics-madeira/Industrial/PROCESSO_AGRUPADOR_RQ/AGRUPADOR_RQ.py

Nome do JOB Databricks: JOB_MADEIRA_INDUSTRIAL_AGRUPADOR_RQ

Link do JOB Databricks: https://dbc-1d7378f1-3eb3.cloud.databricks.com/?o=3038895363325901#job/1122599732825269/runs

Agenda de Execução do JOB: <Informar o agendamento (scheduling) configurado para o job no workflow databricks>

Nome do Notebook START JOB: <Caso o notebook seja acionado por um START JOB, inclua o nome dele. Caso contrário, desconsidere esse item.>

Link do Notebook START JOB: <Caso o notebook seja acionado por um START JOB, inclua o nome dele. Caso contrário, desconsidere esse item.>

Tabela (s) e Arquivo (s) utilizado (s) na Leitura do Processo

• CRONOGRAMA_PRD_MADEIRA.csv

JOB_MADEIRA_INDUSTRIAL_AGRUPADOR_RQ

Observações Importantes Referentes à (às) Tabela (s) de Leitura

Tabela(s) atualizadas(s) no Processo

• analytics_madeira_industrial.t_producao_agrupador_rq

Detalhes do Processo

Uma bases de dados no ambiente do Databrick será fonte para utilização no relatorio de apontamento de produção.

O arquivo é disponibilizado manualmente pelo time da madeira industrial, geralmente mensal.

O notebook faz a leitura do arquivo ( AGRUPADOR_RQ.csv ) no path '/mnt/dexco-da-data-upload-archive-madeira_industrial/PRODUCAO/INPUT/' realizando algumas transformações diante um dataframe carregando os dados na tabela final ( analytics_madeira_industrial.t_producao_agrupador_rq).

Para finalizar o processo faz o Archive do arquivo.