Criar views no Databricks é um processo muito comum e relativamente fácil dentro do Databricks, porém, temos alguns detalhes importantes que devemos ter sempre à vista.
Não coloque o processo de criação de view automatizado.
Recentemente pegamos diversos problemas relacionados a acessos em views, e entendemos que toda vez que um processo roda o CREATE OR REPLACE VIEW, automaticamente TODOS os acessos que foram liberados se perdem. Com isto, quem tinha acesso a view, não terá mais.
O processo ideal é criar o script de criação da view, e solicitar no momento da aprovação da PR a execução do mesmo.
Não deixe o catalogo fixo.
Não deixe no script o catalogo fixo, exemplo:
CREATE OR REPLACE VIEW DEVELOP.schema.tabela
O modo correto é deixar um parametro dinamico e assim, quando formos executar selecionaremos o parametro do mesmo que quem estiver criando a view poderá selecionar o parametro corresponde ao catalogo correto para o momento.
Para isto basta colocar o trecho de código abaixo no inicio do notebook de criação da view.
# Colocar no Inicio do Código
dbutils.widgets.removeAll()
dbutils.widgets.dropdown("catalogo", "develop", ["develop", "stage", "deca", "dexco", "trust"])
No trecho do código onde faz a criação da view, podemos usar o parametro catalogo conforme exemplo abaixo:
%sql
create or replace ${catalogo}.schema.tabela
Ao executar o código, aparecerá, no inicio da janela, um dropdown para selecionar o catalogo na qual o notebook executará.
No caso de um teste, deve-se manter o catalogo develop. No envio do PR, deve informar qual catalogo devemos selecionar na execução para produção.
Dúvidas, entrar em contato conosco.
att,
Arquitetura de Dados
0 Comments