...
Notebook: upload_temporario_dimensoes_sap
Bases finais: margin_analysis_temp.T137T, margin_analysis_temp.TGSBT, margin_analysis_temp.TVV1T, margin_analysis_temp.TVV2T, margin_analysis_temp.TVV3T, margin_analysis_temp.T001, margin_analysis_temp.TINCT, margin_analysis_temp.TVKOT, margin_analysis_temp.TPART, margin_analysis_temp.TVV4T, margin_analysis_temp.TVV5T, margin_analysis_temp.T188T, margin_analysis_temp.T005, margin_analysis_temp.T134T, margin_analysis_temp.MERCADO_RC e margin_analysis_temp.TVV5TMERCADO_HY_DC_FL_PA.
1. Origem
Todas as bases têm origem na transação SE16N do SAP (conexão PEQ, servidor 172. 58.1.52, instância 00). As tabelas extraídas foram: T137T, TGSBT, TVV1T, TVV2T, TVV3T, T001, TINCT, TVKOT, TPART, TVV4T e TVV5T, TVV5T, T188T, T005 e T134T. Único filtro aplicado na extração (quando aplicável) foi o idioma = “PT”.
Foram feitas as extrações em CSV e feito o upload os uploads no Sharepoint, para posterior leitura no processo.
...
| Code Block | ||
|---|---|---|
| ||
def download_arquivo(nome_arquivo):
ctx = ClientContext(site_sharepoint).with_credentials(UserCredential(usuario, senha))
web = ctx.load(ctx.web).execute_query()
response = File.open_binary(ctx, "/sites/arquivos_projeto_margin/Documentos Partilhados/" + nome_arquivo + ".csv")
response.raise_for_status()
with open("/dbfs/FileStore/margin_analysis/" + nome_arquivo + ".csv", "wb") as arquivo:
arquivo.write(response.content)
df = spark.read.format("csv").option("encoding", "ISO-8859-1").option("header", True).load("dbfs:/FileStore/margin_analysis/" + nome_arquivo + ".csv", sep = ";")
df.write.mode("overwrite").option("overwriteSchema", "true").saveAsTable("margin_analysis_temp." + nome_arquivo) |
...
| Code Block | ||
|---|---|---|
| ||
lista_arquivos = ["T137T", "TGSBT", "TVV1T", "TVV2T", "TVV3T", "T001", "TINCT", "TVKOT", "TPART", "TVV4T", "TVV5T", "T188T", "T005", "T134T", "MERCADO_RC", "MERCADO_HY_DC_FL_PA"]
for arquivo in lista_arquivos:
download_arquivo(arquivo) |
...