Criar views no Databricks é um processo muito comum e relativamente fácil dentro do Databricks, porém, temos alguns detalhes importantes que devemos ter sempre à vista.

Não coloque o notebook de criação de view em um job.

Recentemente pegamos diversos problemas relacionados a acessos em views, e entendemos que toda vez que um processo roda o CREATE OR REPLACE VIEW, automaticamente TODOS os acessos que foram liberados se perdem. Com isto, quem tinha acesso a view, não terá mais.

O processo ideal é criar o script de criação da view, e solicitar no momento da aprovação da PR a execução do mesmo.

Pasta View

Coloque as views dentro de uma pasta /VIEWS assim, ficará organizado e fácil de manter todas as views do repositório.

Não deixe o catalogo fixo.

Não deixe no script o catalogo fixo, exemplo:

O modo correto é deixar um parametro dinamico e assim, quando formos executar, selecionaremos o parametro do mesmo que quem estiver criando a view poderá selecionar o parametro corresponde ao catalogo correto para o momento.

Para isto basta colocar o trecho de código abaixo no inicio do notebook de criação da view.

No trecho do código onde faz a criação da view, podemos usar o parametro catalogo conforme exemplo abaixo:

Ao executar o código, aparecerá, no inicio da janela, um dropdown para selecionar o catalogo na qual o notebook executará.

No caso de um teste, deve-se manter o catalogo develop. No envio do PR, deve informar qual catalogo devemos selecionar na execução para produção.

Dúvidas, entrar em contato conosco.

att,

Arquitetura de Dados