...
Todas as bases têm origem na transação SE16N do SAP (conexão PEQ, servidor 172.58.1.52, instância 00). As tabelas extraídas foram: T137T, TGSBT, TVV1T, TVV2T, TVV3T, T001, TINCT, TVKOT, TPART, TVV4T, TVV5T e TVV5TT188T. Único filtro aplicado na extração (quando aplicável) foi o idioma = “PT”.
...
| Code Block | ||
|---|---|---|
| ||
def download_arquivo(nome_arquivo):
ctx = ClientContext(site_sharepoint).with_credentials(UserCredential(usuario, senha))
web = ctx.load(ctx.web).execute_query()
response = File.open_binary(ctx, "/sites/arquivos_projeto_margin/Documentos Partilhados/" + nome_arquivo + ".csv")
response.raise_for_status()
with open("/dbfs/FileStore/margin_analysis/" + nome_arquivo + ".csv", "wb") as arquivo:
arquivo.write(response.content)
df = spark.read.format("csv").option("encoding", "ISO-8859-1").option("header", True).load("dbfs:/FileStore/margin_analysis/" + nome_arquivo + ".csv", sep = ";")
df.write.mode("overwrite").option("overwriteSchema", "true").saveAsTable("margin_analysis_temp." + nome_arquivo) |
...
| Code Block | ||
|---|---|---|
| ||
lista_arquivos = ["T137T", "TGSBT", "TVV1T", "TVV2T", "TVV3T", "T001", "TINCT", "TVKOT", "TPART", "TVV4T", "TVV5T", "T188T"]
for arquivo in lista_arquivos:
download_arquivo(arquivo) |
...