Objetivo
Este documento serve como um guia para operadores que precisam monitorar e relatar o status de execução de jobs específicos no Databricks, garantindo a entrega pontual dos dados e identificando possíveis atrasos.
Acesso ao Databricks
Entrar no Databricks:
Acesse o link MyApps (https://myapplications.microsoft.com/ )
Faça login com suas credenciais.
Busque o aplicativo Databricks usando a caixa de pesquisa e digitando dexco-prd-da conforme imagem abaixo:
Navegação até a Página de Jobs:
Após o login, você será direcionado à página inicial do Databricks.
No menu lateral esquerdo, clique em "Workflow" para acessar a lista de jobs conforme print abaixo:
Apos entrar nesta página, aparecerá todos os jobs disponíveis para o seu usuário.
Ao entrar aparecerá a seguinte visão:
Monitoramento de Jobs Específicos
Os jobs que precisam ser monitorados são:
JOB_CAMADA_SEMANTICA_ESTRUTURA_COMERCIAL_DELTAMARGIN_ANALYSIS_SACJOB_STAGE_LARGEJOB_FLOW_MADEIRA_BACKOFFICESAP_INGESTION_BOTO_NIGHTSAP_INGESTION_BOTOSAP_ACDOCA_STREAMINGMARGIN_ANALYSIS_SAC_DIMENSAO_DELTA
Sendo que o MARGIN_ANALYSIS_SAC e JOB_STAGE_LARGE só serão executados após o JOB_CAMADA_SEMANTICA_ESTRUTURA_COMERCIAL_DELTA.
O job SAP_ACDOCA_STREAMING roda de forma contínua.
O job SAP_INGESTION_BOTO_NIGHTroda de 3 em 3 horas no período das 18:00 até as 03:00
O job SAP_INGESTION_BOTO roda de hora em hora iniciando as 05:00.
O job MARGIN_ANALYSIS_SAC_DIMENSAO_DELTA roda todos os dias as 00:30, com previsão de termino as 01:30
Procedimentos Específicos
JOB | Hora Início Previsto | Termino Previsto | Ação | Depende da Finalização Deste JOB |
|---|---|---|---|---|
JOB_CAMADA_SEMANTICA_ESTRUTURA_COMERCIAL_DELTA | 02:30 | 04:30 | Apos esse horário avisar que poderá haver atraso na entrega dos dados. | Não |
MARGIN_ANALYSIS_SAC_DIMENSAO_DELTA | 00:30 | 01:30 | Após esse horário avisar que poderá gerar atraso na entrega. | Não |
MARGIN_ANALYSIS_SAC | 04:31 | 05:00 | Apos esse horário avisar que poderá haver atraso na entrega dos dados. | JOB_CAMADA_SEMANTICA_ESTRUTURA_COMERCIAL_DELTA |
JOB_STAGE_LARGE | 04:31 | 05:15 | Apos esse horário avisar que poderá haver atraso na entrega dos dados. | JOB_CAMADA_SEMANTICA_ESTRUTURA_COMERCIAL_DELTA |
JOB_FLOW_MADEIRA_BACKOFFICE | 04:00 | 05:30 | Apos esse horário avisar que poderá haver atraso na entrega dos dados. | Não |
SAP_INGESTION_BOTO_NIGHT | A cada 3 horas iniciando à partir das 18:00 | Executado a cada 03 horas finalizando às 03:00. | Qualquer execução com erro durante o período que o mesmo deve executar deve ser avisada. | Não |
SAP_INGESTION_BOTO | A cada 1 Hora iniciando à partir das 05:00 | Continuo de hora em hora até as 17:00 | Avisar caso a execução das 05:00, 06:00 ou 07:00 estiver com erro | Não |
SAP_ACDOCA_STREAMING | Execução Continua | Execução Continua | Não |
JOB_CAMADA_SEMANTICA_ESTRUTURA_COMERCIAL_DELTA:
Importante: Se o
JOB_CAMADA_SEMANTICA_ESTRUTURA_COMERCIAL_DELTAestiver com o statusRunningapós as 03:30 da manhã, é necessário reportar imediatamente, pois indica possíveis atrasos na entrega dos dados.
MARGIN_ANALYSIS_SAC_DIMENSAO_DELTA
Deve rodar todos os dias as 00:30, com previsão de termino de 1 horas. Caso contrário, deve reportar possibilidade de atraso na entrega dos dados.
Após a Conclusão do JOB_CAMADA_SEMANTICA_ESTRUTURA_COMERCIAL_DELTA:
Verifique o status dos jobs
MARGIN_ANALYSIS_SACeJOB_STAGE_LARGE.Previsão de Execução:
JOB_STAGE_LARGEdeve levar aproximadamente 1 hora após inicio da sua execução.MARGIN_ANALYSIS_SACdeve levar aproximadamente 45 hora após inicio da sua execução.
Caso o tempo de processamento esteja maior que o informado acima, deve-se reportar possíveis atrasos na entrega dos dados.
SAP_INGESTION_BOTO_NIGHT e SAP_INGESTION_BOTO
Importante: Qualquer execução com erro, é necessário reportar imediatamente.
OBS: Não é necessário reportar caso os JOBs estejam rodando com sucesso
SAP_ACDOCA_STREAMING
Importante: Sempre que ao validar o mesmo estiver com falha, é necessário avisar imediatamente.
OBS: Não é necessário reportar caso o JOB esteja rodando com sucesso
Reportar Falhas:
Se algum dos jobs falhar, reporte imediatamente à equipe responsável, fornecendo detalhes do erro, se possível.
Sobre Avisos
Todos os alertas devem ser feitos no grupo do Teams (Comunicados - Analytics & Negócio)
O Aplicativo Teams pode ser encontrado no MyApps conforme imagem abaixo:
Segue o template de mensagem a ser enviada:
JOB Dentro da Normalidade (Terminou antes do previsto)
Bom dia,
O job {{JOB_NAME}} terminou com sucesso dentro do horário previsto.
JOB Atrasado (Está rodando a mais tempo que o previsto)
Bom dia,O job {{JOB_NAME}} esta executando a mais tempo que o previsto, em decorrência disso há a possibilidade de atraso na entrega dos dados finais.
JOB Com erro (Terminou com Failed)
Exemplo de JOB Com status Failed.
Bom dia,
O job {{JOB_NAME}} finalizou com erro. A equipe responsável já está sendo notificada.
Qualquer nova novidade, informaremos aqui.
Conclusão
Este guia visa assegurar a eficácia na monitoração dos jobs essenciais no Databricks, facilitando a identificação de atrasos e falhas que possam impactar as entregas. Mantenha-se atento às atualizações deste documento, conforme procedimentos e práticas podem evoluir.
Add Comment