Objetivo
Este documento serve como um guia para operadores que precisam monitorar e relatar o status de execução de jobs específicos no Databricks, garantindo a entrega pontual dos dados e identificando possíveis atrasos.
Acesso ao Databricks
Entrar no Databricks:
Acesse o link MyApps (https://myapplications.microsoft.com/ )
Faça login com suas credenciais.
Busque o aplicativo Databricks usando a caixa de pesquisa e digitando dexco-prd-da conforme imagem abaixo:
Navegação até a Página de Jobs:
Após o login, você será direcionado à página inicial do Databricks.
No menu lateral esquerdo, clique em "Workflow" para acessar a lista de jobs conforme print abaixo:
Apos entrar nesta página, aparecerá todos os jobs disponíveis para o seu usuário.
Ao entrar aparecerá a seguinte visão:
Monitoramento de Jobs Específicos
Os jobs que precisam ser monitorados são:
JOB_CAMADA_SEMANTICA_ESTRUTURA_COMERCIAL_DELTA
MARGIN_ANALYSIS_SAC
JOB_STAGE_LARGE_STEP1_VENDA_FAT
JOB_STAGE_LARGE_STEP2_UPDATE_VENDA_FAT
JOB_STAGE_LARGE_STEP3_RES_COM
JOB_FLOW_MADEIRA_BACKOFFICE
SAP_INGESTION_BOTO_NIGHT
SAP_INGESTION_BOTO
SAP_ACDOCA_STREAMING
MARGIN_ANALYSIS_SAC_DIMENSAO_DELTA
Sendo que o MARGIN_ANALYSIS_SAC e JOB_STAGE_LARGE_STEP1_VENDA_FAT só serão executados após o JOB_CAMADA_SEMANTICA_ESTRUTURA_COMERCIAL_DELTA.
O job SAP_ACDOCA_STREAMING roda de forma contínua (Obs.: Sempre tem como status de Last Run = Canceled pois é quando pausamos ele para subir melhorias).
O job SAP_INGESTION_BOTO_NIGHTroda de 3 em 3 horas no período das 18:00 até as 03:00
O job SAP_INGESTION_BOTO roda de hora em hora iniciando as 05:00 até as 17:00.
O job MARGIN_ANALYSIS_SAC_DIMENSAO_DELTA roda todos os dias as 00:30, com previsão de termino as 01:30
Procedimentos Específicos
JOB | Hora Início Previsto | Termino Previsto | Ação | Depende da Finalização Deste JOB | Quando Notificar? |
|---|---|---|---|---|---|
SAP_ACDOCA_STREAMING | Inicio as 18:00 | Termino 07:00 Execução de 3 em 3 horas. | Olhar a cada 03 horas e caso o job não esteja com o status running, avisar no grupo. | Não | Só Enviar em caso de falha. |
SAP_INGESTION_BOTO_NIGHT | Inicio as 18:00 | Termino 05:00 Execução de 3 em 3 horas. | Qualquer execução com erro durante o período que o mesmo deve executar deve ser avisada. | Não | Só Enviar em caso de falha. |
MARGIN_ANALYSIS_SAC_DIMENSAO_DELTA | 00:30 | 01:30 | Após esse horário avisar que poderá gerar atraso na entrega. | Não | Só Enviar em caso de falha. |
JOB_CAMADA_SEMANTICA_ESTRUTURA_COMERCIAL_DELTA | 03:30 | 04:45 | Apos esse horário avisar que poderá haver atraso na entrega dos dados. | Não | Enviar em caso de sucesso, falha e atrasos. |
MARGIN_ANALYSIS_SAC | 04:45 | 05:20 | Apos esse horário avisar que poderá haver atraso na entrega dos dados. | JOB_CAMADA_SEMANTICA_ESTRUTURA_COMERCIAL_DELTA | Enviar em caso de sucesso, falha e atrasos. |
JOB_STAGE_LARGE_STEP1_VENDA_FAT | 04:45 | 06:00 | Apos esse horário avisar que poderá haver atraso na entrega dos dados. | JOB_CAMADA_SEMANTICA_ESTRUTURA_COMERCIAL_DELTA | Enviar em caso de sucesso, falha e atrasos. |
JOB_STAGE_LARGE_STEP2_UPDATE_VENDA_FAT | Inicia apos o termino do JOB_STAGE_LARGE_STEP1_VENDA_FAT | JOB_STAGE_LARGE_STEP1_VENDA_FAT | Enviar em caso de falhas. | ||
JOB_STAGE_LARGE_STEP3_RES_COM | Inicia após o termino do JOB_STAGE_LARGE_STEP2_UPDATE_VENDA_FAT | JOB_STAGE_LARGE_STEP2_UPDATE_VENDA_FAT | Enviar em caso de falhas. | ||
JOB_FLOW_MADEIRA_BACKOFFICE | 04:00 | 05:30 | Apos esse horário avisar que poderá haver atraso na entrega dos dados. | Não | Enviar em caso de sucesso, falha e atrasos. |
SAP_INGESTION_BOTO | 05:00 | 07:00 Execução de hora em hora terminando as 17:00 | Avisar caso a execução das 05:00, 06:00 ou 07:00 estiver com erro | Não | Só Enviar em caso de falha |
JOB_CAMADA_SEMANTICA_ESTRUTURA_COMERCIAL_DELTA:
Importante: Se o JOB_CAMADA_SEMANTICA_ESTRUTURA_COMERCIAL_DELTA estiver com o status Running após as 03:45 da manhã, é necessário reportar imediatamente, pois indica possíveis atrasos na entrega dos dados.
MARGIN_ANALYSIS_SAC_DIMENSAO_DELTA
Deve rodar todos os dias as 00:30, com previsão de termino de 1 horas. Caso contrário, deve reportar possibilidade de atraso na entrega dos dados.
Após a Conclusão do JOB_CAMADA_SEMANTICA_ESTRUTURA_COMERCIAL_DELTA:
Verifique o status dos jobs MARGIN_ANALYSIS_SAC e JOB_STAGE_LARGE.
Previsão de Execução:
JOB_STAGE_LARGE deve levar aproximadamente 1 hora após inicio da sua execução.
MARGIN_ANALYSIS_SAC deve levar aproximadamente 45 hora após inicio da sua execução.
Caso o tempo de processamento esteja maior que o informado acima, deve-se reportar possíveis atrasos na entrega dos dados.
SAP_INGESTION_BOTO_NIGHT e SAP_INGESTION_BOTO
Importante: Qualquer execução com erro, é necessário reportar imediatamente.
OBS: Não é necessário reportar caso os JOBs estejam rodando com sucesso
SAP_ACDOCA_STREAMING
Importante: Sempre que ao validar o mesmo estiver com falha, é necessário avisar imediatamente.
OBS: Não é necessário reportar caso o JOB esteja rodando com sucesso
Reportar Falhas:
Se algum dos jobs falhar, reporte imediatamente à equipe responsável, fornecendo detalhes do erro, se possível.
Sobre Avisos
Todos os alertas devem ser feitos no grupo do Teams (Comunicados - Analytics & Negócio)
O Aplicativo Teams pode ser encontrado no MyApps conforme imagem abaixo:
JOB Terminou com sucesso
Bom dia,
O job {{JOB_NAME}} terminou com sucesso dentro do horário esperado.
JOB Atrasado (Está rodando a mais tempo que o previsto)
Bom dia,O job {{JOB_NAME}} esta executando a mais tempo que o previsto, em decorrência disso há a possibilidade de atraso na entrega dos dados finais.
JOB Com erro (Terminou com Failed)
Exemplo de JOB Com status Failed.
Bom dia,
O job {{JOB_NAME}} finalizou com erro. A equipe responsável já está sendo notificada.
Qualquer nova novidade, informaremos aqui.
Conclusão
Este guia visa assegurar a eficácia na monitoração dos jobs essenciais no Databricks, facilitando a identificação de atrasos e falhas que possam impactar as entregas. Mantenha-se atento às atualizações deste documento, conforme procedimentos e práticas podem evoluir.