Versions Compared

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.

...

  1. Entrar no Databricks:

    • Acesse o link Databricks MyApps (https://dbc-1d7378f1-3eb3.cloud.databricksmyapplications.microsoft.com/?o=3038895363325901 )

    • Faça login com suas credenciais. Caso não possua, solicite acesso ao time de arquitetura de dados através do e-mail arquitetura-dados@dex.co

    • Busque o aplicativo Databricks usando a caixa de pesquisa e digitando dexco-prd-da conforme imagem abaixo:

    • CleanShot 2024-02-09 at 18.15.40-20240209-211543.pngImage Added

  2. Navegação até a Página de Jobs:

    • Após o login, você será direcionado à página inicial do Databricks.

    • No menu lateral esquerdo, clique em "Workflow" para acessar a lista de jobs conforme print abaixo:

      CleanShot 2024-02-09 at 16.37.17-20240209-193727.png

      Apos entrar nesta página, aparecerá todos os jobs disponíveis para o seu usuário.

  3. Ao entrar aparecerá a seguinte visão:

...

  • JOB_CAMADA_SEMANTICA_ESTRUTURA_COMERCIAL_DELTA

  • MARGIN_ANALYSIS_SAC

  • JOB_STAGE_LARGE_STEP1_VENDA_FAT

  • JOB_STAGE_LARGE_STEP2_UPDATE_VENDA_FAT

  • JOB_STAGE_LARGE_STEP3_RES_COM

  • JOB_FLOW_MADEIRA_BACKOFFICE

  • SAP_INGESTION_BOTO_NIGHT

  • SAP_INGESTION_BOTO

  • SAP_ACDOCA_STREAMING

  • MARGIN_ANALYSIS_SAC_DIMENSAO_DELTA

Sendo que o MARGIN_ANALYSIS_SAC e JOB_STAGE_LARGE_STEP1_VENDA_FAT só serão executados após o JOB_CAMADA_SEMANTICA_ESTRUTURA_COMERCIAL_DELTA.

O job SAP_ACDOCA_STREAMING roda de forma contínua (Obs.: Sempre tem como status de Last Run = Canceled pois é quando pausamos ele para subir melhorias).

O job SAP_INGESTION_BOTO_NIGHTroda de 3 em 3 horas no período das 18:00 até as 03:00

O job SAP_INGESTION_BOTO roda de hora em hora iniciando as 05:00 até as 17:00.

O job MARGIN_ANALYSIS_SAC_DIMENSAO_DELTA roda todos os dias as 00:30, com previsão de termino as 01:30

Procedimentos Específicos

...

JOB

Hora Início Previsto

Termino Previsto

Ação

Depende da Finalização Deste JOB

Quando Notificar?

SAP_ACDOCA_STREAMING

Inicio as 18:00

Termino 07:00

Execução de 3 em 3 horas.

Olhar a cada 03 horas e caso o job não esteja com o status running, avisar no grupo.

Não

Só Enviar em caso de falha.

SAP_INGESTION_BOTO_NIGHT

Inicio as 18:00

Termino 05:00

Execução de 3 em 3 horas.

Qualquer execução com erro durante o período que o mesmo deve executar deve ser avisada.

Não

Só Enviar em caso de falha.

MARGIN_ANALYSIS_SAC_DIMENSAO_DELTA

00:30

01:30

Após esse horário avisar que poderá gerar atraso na entrega.

Não

Só Enviar em caso de falha.

JOB_CAMADA_SEMANTICA_ESTRUTURA_COMERCIAL_DELTA

0203:30

0604:0045

Apos esse horário avisar que poderá haver atraso na entrega dos dados.

Não

Enviar em caso de sucesso, falha e atrasos.

MARGIN_ANALYSIS_SAC

0604:3545

0705:0520

Apos esse horário avisar que poderá haver atraso na entrega dos dados.

JOB_CAMADA_SEMANTICA_ESTRUTURA_COMERCIAL_DELTA

Enviar em caso de sucesso, falha e atrasos.

JOB_STAGE_LARGE

06:05

07:15_STEP1_VENDA_FAT

04:45

06:00

Apos esse horário avisar que poderá haver atraso na entrega dos dados.

JOB_CAMADA_SEMANTICA_ESTRUTURA_COMERCIAL_DELTA

Enviar em caso de sucesso, falha e atrasos.

JOB_STAGE_LARGE_STEP2_UPDATE_VENDA_FAT

Inicia apos o termino do JOB_STAGE_LARGE_STEP1_VENDA_FAT

JOB_STAGE_LARGE_STEP1_VENDA_FAT

Enviar em caso de falhas.

JOB_STAGE_LARGE_STEP3_RES_COM

Inicia após o termino do JOB_STAGE_LARGE_STEP2_UPDATE_VENDA_FAT

JOB_STAGE_LARGE_STEP2_UPDATE_VENDA_FAT

Enviar em caso de falhas.

JOB_FLOW_MADEIRA_BACKOFFICE

04:00

05:30

Apos esse horário avisar que poderá haver atraso na entrega dos dados.

Não

Enviar em caso de sucesso, falha e atrasos.

JOBSAP_CAMADA_SEMANTICA_ESTRUTURA_COMERCIALINGESTION_BOTO

05:00

07:00

Execução de hora em hora

terminando as 17:00

Avisar caso a execução das 05:00, 06:00 ou 07:00 estiver com erro

Não

Só Enviar em caso de falha

  1. JOB_CAMADA_SEMANTICA_ESTRUTURA_COMERCIAL_DELTA:

    • Importante: Se o JOB_CAMADA_SEMANTICA_ESTRUTURA_COMERCIAL_DELTA estiver com o status Running após as 0603:00 45 da manhã, é necessário reportar imediatamente, pois indica possíveis atrasos na entrega dos dados.

  2. MARGIN_ANALYSIS_SAC_DIMENSAO_DELTA

    • Deve rodar todos os dias as 00:30, com previsão de termino de 1 horas. Caso contrário, deve reportar possibilidade de atraso na entrega dos dados.

  3. Após a Conclusão do JOB_CAMADA_SEMANTICA_ESTRUTURA_COMERCIAL_DELTA:

    • Verifique o status dos jobs MARGIN_ANALYSIS_SAC e JOB_STAGE_LARGE.

    • Previsão de Execução:

      • JOB_STAGE_LARGE deve levar aproximadamente 1 hora após inicio da sua execução.

      • MARGIN_ANALYSIS_SAC deve levar aproximadamente 45 hora após inicio da sua execução.

Caso o tempo de processamento esteja maior que o informado acima, deve-se reportar possíveis atrasos na entrega dos dados.

  1. SAP_INGESTION_BOTO_NIGHT e SAP_INGESTION_BOTO

    • Importante: Qualquer execução com erro, é necessário reportar imediatamente.

OBS: Não é necessário reportar caso os JOBs estejam rodando com sucesso

  1. SAP_ACDOCA_STREAMING

    • Importante: Sempre que ao validar o mesmo estiver com falha, é necessário avisar imediatamente.

OBS: Não é necessário reportar caso o JOB esteja rodando com sucesso

  1. Reportar Falhas:

  • Se algum dos jobs falhar, reporte imediatamente à equipe responsável, fornecendo detalhes do erro, se possível.

...

Todos os alertas devem ser feitos no grupo do teams Teams (Comunicados - Analytics & Negócio)

Segue o template de mensagem a ser enviada:

JOB O Aplicativo Teams pode ser encontrado no MyApps conforme imagem abaixo:

...

JOB Terminou com sucesso

Bom dia,

O job {{JOB_NAME}} terminou com sucesso dentro do horário esperado.

JOB Atrasado (Está rodando a mais tempo que o previsto)

...