Catálogo de Dados

Objetivo - Com o catálogo de dados, é possível encontrar rapidamente as informações, acessar os metadados e iniciar a preparação e análise dos dados com eficiência e segurança. Sem a necessidade de contar com uma grande equipe de especialistas para realizar esse trabalho.

Layout - O catalogo deve estar no ambiente https://dbc-9570c746-ec11.cloud.databricks.com/?o=3606981051492833#files/3926445055831284, lembrando quem for fazer o catalogo para um projeto novo, criar a pasta como o nome e os schemas.

Coluna Descrição

FIELD Nome do campo

KEY É uma chave

NOT_NULL Não nulo

PARTITION Tem partição

ELEMENT É elemento

TYPE Tipo do dado

SIZE Tamanha do dado

DECIMALS É decimal

DESCRIPTION Descrição do dado

POSITION É dado posicional

Exemplo : (FIELD;KEY;NOT_NULL;PARTITION;ELEMENT;TYPE;SIZE;DECIMALS;DESCRIPTION;POSITION)

Os campos esta com o separador ( ; ), se caso não tiver o dado deixar o campo nulo, por exemplo se caso faltar algum campo.

exemplo falta de campo: (CBTTYPE;;;;FINS_CUSTBTTYPE;CHAR;4;0;Tipo transação comercial personalizado (ainda não utilizado)) como vê neste exemplo trouxe apenas 06 campos.

Exemplo de um catalogo feito:

SQL - temos um exemplo em SQL simples que com ele conseguiremos extrair o catalogo FULL de uma base SQL Server por exemplo. Ele ainda não está completo, mas com ele já é possível evoluir para quem estiver com demandas de SQL Server montar o catalogo de acordo com a origem que está sendo extraído.

SQL_CATALOGO = """
(select
TABLE_NAME as 'table',
COLUMN_NAME as field,
'' as 'key',
case WHEN IS_NULLABLE = 'YES' then 'X' else ' ' end as 'Not Null',
' ' as PARTITION,
' ' as ELEMENT,
DATA_TYPE as type,
CHARACTER_MAXIMUM_LENGTH as size,
NUMERIC_PRECISION as DECIMALS,
' ' as DESCRIPTION,
ORDINAL_POSITION as position
FROM INFORMATION_SCHEMA.Columns) as catalog
"""