O novo clube duratex consiste na migração 52 tabelas do MySql para o Redshift conforme a solicitação do Flavio Tokuo.

Recursos Necessários .

Os recursos utilizados devem ser mencionados para apoio no entendimento e desenvolvimento. Abaixo segue a lista de todos os insumos utilizados para o estabelecimento deste projeto:

• Notebook do Databricks para extração dos dados do MySql .

• Notebook do Databricks para ingestão no Redshift

• Jira: este sistema pode ser usado para a consulta do Card DGA - 668 a qual apresenta todas as informações do projeto e o commit dos notebooks do Databricks.

Desenvolvimento da carga de arquivos

Notebook ingestão no Redshift.

Import das blibliotecas utilizada.

Lista de tabelas para ingestão.

Parametros de conexão.

Função para tratamento dos tipos dos dados.

Notebook para ingestão no databricks.

Bibliotecas utilizadas.

Lista de tabelas a serem extraidas do MySql.

Parametros de conexão no MySql.

Leitura dos dados no Databricks e escrita dos dados no Redshift.

Tabelas inseridas no databricks.

Schema : manager_clube_duratex

Schema : private_clube_duratex

Tabelas inseridas no redshift.

Schema : clube_duratex.