DOC Monitoramento Jobs Databricks

Objetivo

Este documento serve como um guia para operadores que precisam monitorar e relatar o status de execução de jobs específicos no Databricks, garantindo a entrega pontual dos dados e identificando possíveis atrasos.

Acesso ao Databricks

1. Entrar no Databricks:

   • Acesse o link MyApps (My Apps )

   • Faça login com suas credenciais.

   • Busque o aplicativo Databricks usando a caixa de pesquisa e digitando dexco-prd-da conforme imagem abaixo:

   • Open

     

      

2. Navegação até a Página de Jobs:

   • Após o login, você será direcionado à página inicial do Databricks.

   • No menu lateral esquerdo, clique em "Workflow" para acessar a lista de jobs conforme print abaixo:
     
     

     Open

     

     Apos entrar nesta página, aparecerá todos os jobs disponíveis para o seu usuário.

3. Ao entrar aparecerá a seguinte visão:

Monitoramento de Jobs Específicos

Os jobs que precisam ser monitorados são:

• JOB_CAMADA_SEMANTICA_ESTRUTURA_COMERCIAL_DELTA

• MARGIN_ANALYSIS_SAC

• JOB_STAGE_LARGE_STEP1_VENDA_FAT

• JOB_STAGE_LARGE_STEP2_UPDATE_VENDA_FAT

• JOB_STAGE_LARGE_STEP3_RES_COM

• JOB_FLOW_MADEIRA_BACKOFFICE

• SAP_INGESTION_BOTO_NIGHT

• SAP_INGESTION_BOTO

• SAP_ACDOCA_STREAMING

• MARGIN_ANALYSIS_SAC_DIMENSAO_DELTA

Sendo que o MARGIN_ANALYSIS_SAC e JOB_STAGE_LARGE_STEP1_VENDA_FAT só serão executados após o JOB_CAMADA_SEMANTICA_ESTRUTURA_COMERCIAL_DELTA.

O job SAP_ACDOCA_STREAMING roda de forma contínua (Obs.: Sempre tem como status de Last Run = Canceled pois é quando pausamos ele para subir melhorias).

O job SAP_INGESTION_BOTO_NIGHTroda de 3 em 3 horas no período das 18:00 até as 03:00

O job SAP_INGESTION_BOTO roda de hora em hora iniciando as 05:00 até as 17:00.

O job MARGIN_ANALYSIS_SAC_DIMENSAO_DELTA roda todos os dias as 00:30, com previsão de termino as 01:30

Procedimentos Específicos

1. JOB_CAMADA_SEMANTICA_ESTRUTURA_COMERCIAL_DELTA:

   • Importante: Se o JOB_CAMADA_SEMANTICA_ESTRUTURA_COMERCIAL_DELTA estiver com o status Running após as 03:45 da manhã, é necessário reportar imediatamente, pois indica possíveis atrasos na entrega dos dados.

2. MARGIN_ANALYSIS_SAC_DIMENSAO_DELTA

   • Deve rodar todos os dias as 00:30, com previsão de termino de 1 horas. Caso contrário, deve reportar possibilidade de atraso na entrega dos dados.

3. Após a Conclusão do JOB_CAMADA_SEMANTICA_ESTRUTURA_COMERCIAL_DELTA:

   • Verifique o status dos jobs MARGIN_ANALYSIS_SAC e JOB_STAGE_LARGE.

   • Previsão de Execução:

     • JOB_STAGE_LARGE deve levar aproximadamente 1 hora após inicio da sua execução.

     • MARGIN_ANALYSIS_SAC deve levar aproximadamente 45 hora após inicio da sua execução.

3. SAP_INGESTION_BOTO_NIGHT e SAP_INGESTION_BOTO

   • Importante: Qualquer execução com erro, é necessário reportar imediatamente.

4. SAP_ACDOCA_STREAMING

   • Importante: Sempre que ao validar o mesmo estiver com falha, é necessário avisar imediatamente.

5. Reportar Falhas:

• Se algum dos jobs falhar, reporte imediatamente à equipe responsável, fornecendo detalhes do erro, se possível.

Sobre Avisos

Todos os alertas devem ser feitos no grupo do Teams (Comunicados - Analytics & Negócio)

O Aplicativo Teams pode ser encontrado no MyApps conforme imagem abaixo:

JOB Terminou com sucesso

Bom dia,

O job {{JOB_NAME}} terminou com sucesso dentro do horário esperado.

JOB Atrasado (Está rodando a mais tempo que o previsto)

Bom dia,

O job {{JOB_NAME}} esta executando a mais tempo que o previsto, em decorrência disso há a possibilidade de atraso na entrega dos dados finais.

JOB Com erro (Terminou com Failed)

Exemplo de JOB Com status Failed.

Bom dia,

O job {{JOB_NAME}} finalizou com erro. A equipe responsável já está sendo notificada.

Qualquer nova novidade, informaremos aqui.

Conclusão

Este guia visa assegurar a eficácia na monitoração dos jobs essenciais no Databricks, facilitando a identificação de atrasos e falhas que possam impactar as entregas. Mantenha-se atento às atualizações deste documento, conforme procedimentos e práticas podem evoluir.