...
Uma vez que essa branch teve seu desenvolvimento concluído e refletido nas branchs develop e master, poderemos excluir do bitbucket.
Check List de Deploy para Develop e Produção
Solicitações para arquitetura:
Criação de PR
Informar o link da PR
Criação de Secret
informar ESCOPO e CHAVE (scope / key). Se tiverem dúvidas quanto a isso, perguntem.
Liberação de JOB e Mount
Nome do JOB
Nome do Mount Utilizado
Execução de Job em Produção
Informar para executar o JOB após a execução da PR (GARANTIR que o processo foi executado com sucesso em DEV)
Carga de Tabelas (Histórico ou Tabelas Estáticas)
Informar todas as tabelas necessárias, sejam tabelas finais ou estáticas do processo.
Informar se têm ou não partição
Garantir que tenham o Create Table If Not Exists nos notebooks de processamento
Validação em DEV dos processos desenvolvidos antes da PR para MASTER
Incluir Evidências de Execução do JOB Databricks na Tarefa Jira (ou na própria Pull Request). Essa evidência facilitará na validação da alteração pelo APROVADOR da PR.
Como acessar um banco de dados MySql
| Code Block |
|---|
from pyspark.sql.functions import * host = "" user = "" password = "" port = "" dbDatabase = "" driver= "com.mysql.jdbc.Driver" url= "jdbc:mysql://"+host+":"+port+"/"+dbDatabase+"" def read_table_mysql(sqlQuery): try: df = spark.read.format("jdbc")\ .option("driver", driver)\ .option("url", url)\ .option("query", sqlQuery)\ .option("user", user)\ .option("password", password)\ .load() return df except Exception as ex: print(f"❌ Erro na leitura da query") print(ex) pass |
Como acessar um banco de dados Postgres
| Code Block |
|---|
from pyspark.sql.functions import *
host = ""
dbname = ""
user = ""
password = ""
port = 5432
bucket_name = dbutils.secrets.get(scope = 'PROCESS_ETL_ANALYTICKS_DATABRICKS_API', key = 'BUCKET_TEMP_DATA_TRANSFER')
aws_access = dbutils.secrets.get(scope = 'AWS_SVC_S3_DATA_TRANSFER', key = 'ACCESS_KEY')
aws_secret = dbutils.secrets.get(scope = 'AWS_SVC_S3_DATA_TRANSFER', key = 'SECRET_KEY')
sc._jsc.hadoopConfiguration().set("fs.s3a.access.key", aws_access)
sc._jsc.hadoopConfiguration().set("fs.s3a.secret.key", aws_secret)
conn_string = f'jdbc:postgresql://{host}:{port}/{dbname}?user={user}&password={password}'
def query_postgres(select, nome_tabela):
try:
tempdir = f"s3a://{bucket_name}/Redshift/PRODUTOS-DIGITAIS/{tabela}"
df = (spark.read.format("jdbc")
.option("url", conn_string)
.option("forward_spark_s3_credentials", "true")
.option("query", select)
.option("tempdir", tempdir)
.option("driver", "org.postgresql.Driver")
.load())
return df
except Exception as ex:
print(f"❌ Erro na leitura da query")
print(ex)
pass |