O novo clube duratex consiste na migração 52 tabelas do MySql para o Redshift conforme a solicitação do Flavio Tokuo.
Recursos Necessários
Os recursos utilizados devem ser mencionados para apoio no entendimento e desenvolvimento. Abaixo segue a lista de todos os insumos utilizados para o estabelecimento deste projeto:
Notebook do Databricks para extração dos dados do MySql .
Notebook do Databricks para ingestão no Redshift
Jira: este sistema pode ser usado para a consulta do Card DGA - 668 a qual apresenta todas as informações do projeto e o commit dos notebooks do Databricks.
Desenvolvimento da carga de arquivos
Notebook ingestão no Redshift.
Import das blibliotecas utilizada.
Lista de tabelas para ingestão.
Parametros de conexão.
Função para tratamento dos tipos dos dados.
Notebook para ingestão no databricks.
Bibliotecas utilizadas.
Lista de tabelas a serem extraidas do MySql.
Parametros de conexão no MySql.
Leitura dos dados no Databricks e escrita dos dados no Redshift.
0 Comments