DOC Monitoramento Jobs Databricks

Objetivo

Este documento serve como um guia para operadores que precisam monitorar e relatar o status de execução de jobs específicos no Databricks, garantindo a entrega pontual dos dados e identificando possíveis atrasos.

Acesso ao Databricks

Entrar no Databricks:
- Acesse o link Databricks.
- Faça login com suas credenciais. Caso não possua, solicite acesso ao time de arquitetura de dados através do e-mail arquitetura-dados@dex.co
Navegação até a Página de Jobs:
- Após o login, você será direcionado à página inicial do Databricks.
- No menu lateral esquerdo, clique em "Workflow" para acessar a lista de jobs conforme print abaixo:
  Apos entrar nesta página, aparecerá todos os jobs disponíveis para o seu usuário.

Monitoramento de Jobs Específicos

Os jobs que precisam ser monitorados são:

JOB_CAMADA_SEMANTICA_ESTRUTURA_COMERCIAL
MARGIN_ANALYSIS_SAC
JOB_STAGE_LARGE

Sendo que o MARGIN_ANALYSIS_SAC e JOB_STAGE_LARGE só serão executados após o JOB_CAMADA_SEMANTICA_ESTRUTURA_COMERCIAL.

Procedimentos Específicos

JOB_CAMADA_SEMANTICA_ESTRUTURA_COMERCIAL:
- Importante: Se o JOB_CAMADA_SEMANTICA_ESTRUTURA_COMERCIAL estiver com o status Running após as 06:30 da manhã, é necessário reportar imediatamente, pois indica possíveis atrasos na entrega dos dados.
Após a Conclusão do JOB_CAMADA_SEMANTICA_ESTRUTURA_COMERCIAL:
- Verifique o status dos jobs MARGIN_ANALYSIS_SAC e JOB_STAGE_LARGE.
- Previsão de Execução:
  - JOB_STAGE_LARGE deve levar aproximadamente 1 hora após inicio da sua execução.
  - margin_analysis_sac deve levar aproximadamente 45 hora após inicio da sua execução.

Caso o tempo de processamento esteja maior que o informado acima, deve-se reportar possíveis atrasos na entrega dos dados.

Reportar Falhas:

Se algum dos jobs falhar, reporte imediatamente à equipe responsável, fornecendo detalhes do erro, se possível.

Conclusão

Este guia visa assegurar a eficácia na monitoração dos jobs essenciais no Databricks, facilitando a identificação de atrasos e falhas que possam impactar as entregas. Mantenha-se atento às atualizações deste documento, conforme procedimentos e práticas podem evoluir.