DOC Monitoramento Jobs Databricks

Objetivo

Este documento serve como um guia para operadores que precisam monitorar e relatar o status de execução de jobs específicos no Databricks, garantindo a entrega pontual dos dados e identificando possíveis atrasos.

Acesso ao Databricks

1. Entrar no Databricks:

   • Acesse o link MyApps (https://myapplications.microsoft.com/ )

   • Faça login com suas credenciais.

   • Busque o aplicativo Databricks usando a caixa de pesquisa e digitando dexco-prd-da conforme imagem abaixo:

   • 

2. Navegação até a Página de Jobs:

   • Após o login, você será direcionado à página inicial do Databricks.

   • No menu lateral esquerdo, clique em "Workflow" para acessar a lista de jobs conforme print abaixo:
     

     

     Apos entrar nesta página, aparecerá todos os jobs disponíveis para o seu usuário.

3. Ao entrar aparecerá a seguinte visão:

Monitoramento de Jobs Específicos

Os jobs que precisam ser monitorados são:

• JOB_CAMADA_SEMANTICA_ESTRUTURA_COMERCIAL

• MARGIN_ANALYSIS_SAC

• JOB_STAGE_LARGE

• JOB_FLOW_MADEIRA_BACKOFFICE

Sendo que o MARGIN_ANALYSIS_SAC e JOB_STAGE_LARGE só serão executados após o JOB_CAMADA_SEMANTICA_ESTRUTURA_COMERCIAL.

Procedimentos Específicos

1. JOB_CAMADA_SEMANTICA_ESTRUTURA_COMERCIAL:

   • Importante: Se o JOB_CAMADA_SEMANTICA_ESTRUTURA_COMERCIAL estiver com o status Running após as 06:00 da manhã, é necessário reportar imediatamente, pois indica possíveis atrasos na entrega dos dados.

2. Após a Conclusão do JOB_CAMADA_SEMANTICA_ESTRUTURA_COMERCIAL:

   • Verifique o status dos jobs MARGIN_ANALYSIS_SAC e JOB_STAGE_LARGE.

   • Previsão de Execução:

     • JOB_STAGE_LARGE deve levar aproximadamente 1 hora após inicio da sua execução.

     • MARGIN_ANALYSIS_SAC deve levar aproximadamente 45 hora após inicio da sua execução.

Caso o tempo de processamento esteja maior que o informado acima, deve-se reportar possíveis atrasos na entrega dos dados.

3. SAP_INGESTION_BOTO_NIGHT

   • Importante: Qualquer execução com erro, é necessário reportar imediatamente.

OBS: Não é necessário reportar caso o JOB esteja rodando com sucesso

4. SAP_ACDOCA_STREAMING

   • Importante: Sempre que ao validar o mesmo estiver com falha, é necessário avisar imediatamente.

OBS: Não é necessário reportar caso o JOB esteja rodando com sucesso

4. Reportar Falhas:

• Se algum dos jobs falhar, reporte imediatamente à equipe responsável, fornecendo detalhes do erro, se possível.

Sobre Avisos

Todos os alertas devem ser feitos no grupo do Teams (Comunicados - Analytics & Negócio)

O Aplicativo Teams pode ser encontrado no MyApps conforme imagem abaixo:

Segue o template de mensagem a ser enviada:

JOB Dentro da Normalidade (Terminou antes do previsto)

Bom dia,

O job {{JOB_NAME}} terminou com sucesso dentro do horário previsto.

JOB Atrasado (Está rodando a mais tempo que o previsto)

Bom dia,

O job {{JOB_NAME}} esta executando a mais tempo que o previsto, em decorrência disso há a possibilidade de atraso na entrega dos dados finais.

JOB Com erro (Terminou com Failed)

Exemplo de JOB Com status Failed.

Bom dia,

O job {{JOB_NAME}} finalizou com erro. A equipe responsável já está sendo notificada.

Qualquer nova novidade, informaremos aqui.

Conclusão

Este guia visa assegurar a eficácia na monitoração dos jobs essenciais no Databricks, facilitando a identificação de atrasos e falhas que possam impactar as entregas. Mantenha-se atento às atualizações deste documento, conforme procedimentos e práticas podem evoluir.