Este espaço é destinado a documentação da equipe de Analytics

Skip to end of metadata
Go to start of metadata

You are viewing an old version of this content. View the current version.

Compare with Current View Version History

Version 1 Next »

Objetivo:

Esse projeto nasceu por solicitação da equipe Dados IPTD, afim de reunir
vários dados de indicadores de mercado em uma única visão, estruturada
em uma camada Business.

Descrição do PROJETO:

  • O objetivo deste projeto é ter uma view de resumo com todos os
    indicadores macroeconômicos que são importantes para o setor de
    materiais de construção.

  • Com isso haverá melhora na eficiência operacional que em uma única
    visão terá todos dos dados agrupados.

Escopo:

  • Objetivo é montar uma view de consulta que primeiramente será atualizada todo dia as 06h da manhã.

Pessoas, processos e sistemas impactados:

  • Area de Dados IPTD – solicitante

  • Area de Inteligencia de Negócio – consumidores

Tarefa Jira de Desenvolvimento

ADECA-736 - Getting issue details... STATUS

Regras de cada campo:

Clique aqui para visualizar

Script SQL utilizado na migração

duratex / analytics-databricks-deca / Workspace / analytics-deca-hydra / CARTEIRA_RC / ANALYTICS_PRD_TB_CARTEIRA_RC.py — Bitbucket

 Origem

sap.vbep
sap.lips

sap.vbrp

sap.vbkd

sap.prcd_elements

sap.vbpa

sap.vbak

sap.vbap

sap.kna1

sap.knvv

sap.tvv1t

large.tb_hierarquia_cliente

large.tb_produto

sap.vbfa

Periodicidade Carga

1 x ao dia

Tabela Destino Final

hive_metastore.analytics_prd.tb_carteira_rc

Database no Hive

analytics_prd

Ação DML

INSERT, DELETE e UPDATE

Descrição Ação DML

Primeiro atualiza os dados existentes na tabela para a flag_delta = 0. Depois insere os dados da nova execução e por último verifica se existem dados na tabela que tenham sido gerados a mais de 1 ano, se sim, grava esses dados no diretório do Glacier e excluí da tabela.

Nome do Notebook Databricks:

ANALYTICS_PRD_TB_CARTEIRA_RC

Link do Notebook Databricks

/gold/analytics-deca-hydra/CARTEIRA_RC/ANALYTICS_PRD_TB_CARTEIRA_RC

Nome do JOB Databricks:

JOB_DECA_TB_CARTEIRA_RC - Databricks

Link do JOB Databricks

JOB_DECA_TB_CARTEIRA_RC - Databricks

Nome do Job Pai Databricks:

não há

Link do JOB Pai Databricks

não há

Agenda de Execução do JOB

Diariamente as 7h da manhã (horário de Brasília)

Informação sobre as colunas

Error rendering macro 'viewxls' : Failed to find attachment with Name regras_campos_tb_carteira_rc_1.xlsx

Histórico de Modificações:

Versão

Nome

Função e Área

Data

Modificação

V1

Raquel Jung Mateus

PO - Analytics

01/12/2022

Criação do primeiro Script

V2

Henrique da Gama Fernandes

Engenheiro de dados - Analytics

25/04/2023

Reconstrução do código e ajustes.

V3

Anderson Manoel Teixeira

Analista de dados - Analytics

04/08/2023

  1. Foi adicionado o ducumento de venda 'ZMPL' no filtro da query.
    ADECA-620 - Getting issue details... STATUS
    2. O campo motivo_ordem foi alterado para trazer a descrição do código.
    ADECA-630 - Getting issue details... STATUS

  • No labels