Este documento tem o objetivo de explicar e exemplificar o formato do dado de horas do tipo timezone utilizado no Databricks em seu armazenamento e visualização.
Durante o processo de ingestão dos dados vindos do SAP, é feita uma tratativa/limpeza nos dados para adequá-los ao formato de armazenamento do Databricks, visando sempre o formato mais genérico e limpo o possível para que possa atender os mais diferentes tipo de cenários que esse dados irá atender.
No sistema SAP possui um tipo de campo de dados denominado TIMS referente a horas, sem a data, exemplo: 13:30:00. Link de referencia https://www.se80.co.uk/sap-data-element/?name=tims
O dado está sendo lido inicialmente em um formato string e o armazenamento desse dado no Databricks está sendo feito da seguinte forma:
Concatenação com a data padrão
1970-01-01;Conversão para datatype
timstamp;Soma de GMT +3;
Concatenação com a data padrão 1970-01-01
O motivo da concatenação com a data padrão é para posteriormente conseguirmos converter para um formato timestamp e proporcionar a possibilidade de utilização de funções nativas para trabalhar com horas, Exemplo:
0 Comments