/
DGA-696 Formatar Data

 

Código Repositório: https://dbc-9570c746-ec11.cloud.databricks.com/?o=3606981051492833#notebook/2414507808831662/command/2414507808831678 

CARD:

https://dtxlab.atlassian.net/browse/DGA-696

 

Objetivo: Formatar datatype da coluna ETDAT de string para date.

  • É importante validar se a tabela é ZITFSD122_MAPA_EXPEDICAO_U, se sim então fazemos a alteração assim:

    1df = df.withColumn('ETDAT', to_date(df.ETDAT, 'yyyyMMdd'))


EXECUTANDO O CÓDIGO

  • Após validar o nome da tabela e fazer a alteração, o próximo passo é executar o JOB 58082 que irá gerar um dataframe com a estrutura com todos as pipelines e a coluna com datatype date. 

  • Os parameter do JOB 58082 são.

1{ 2 "bucket_s3":"dexco-dev-da-databricks-storage-in", 3 "database":"sap_ecc", 4 "database_redshift":"sandbox", 5 "table":"ZITFSD122_MAPA_EXPEDICAO_U", 6 "tempdir":"dexco-dev-da-databricks-storage-in/ibm/datastage/SAP/ECC/P1Q/100/ZITFSD122_MAPA_EXPEDICAO_U/Redshift" 7}


  • Se valida que a coluna foi modificada com sucesso.


MERGE REQUEST