DGA-696 Formatar Data

Código Repositório: https://dbc-9570c746-ec11.cloud.databricks.com/?o=3606981051492833#notebook/2414507808831662/command/2414507808831678

CARD:

https://dtxlab.atlassian.net/browse/DGA-696

Objetivo: Formatar datatype da coluna ETDAT de string para date.

É importante validar se a tabela é ZITFSD122_MAPA_EXPEDICAO_U, se sim então fazemos a alteração assim:
df = df.withColumn('ETDAT', to_date(df.ETDAT, 'yyyyMMdd'))

EXECUTANDO O CÓDIGO

Após validar o nome da tabela e fazer a alteração, o próximo passo é executar o JOB 58082 que irá gerar um dataframe com a estrutura com todos as pipelines e a coluna com datatype date.
Os parameter do JOB 58082 são.

{
 "bucket_s3":"dexco-dev-da-databricks-storage-in",
 "database":"sap_ecc",
 "database_redshift":"sandbox",
 "table":"ZITFSD122_MAPA_EXPEDICAO_U",
 "tempdir":"dexco-dev-da-databricks-storage-in/ibm/datastage/SAP/ECC/P1Q/100/ZITFSD122_MAPA_EXPEDICAO_U/Redshift"
}

Se valida que a coluna foi modificada com sucesso.

MERGE REQUEST

Arquitetura e Governança D&A

DGA-696 Formatar Data

Analytics

Related content