Este projeto faz parte do meu portfólio pessoal, consiste em dados reais e foi todo realizado por mim do início ao fim.
Neste repositório você encontrará arquivos que fazem parte do projeto, cujo objetivo é trazer um histórico de dados de compras do governo federal que está em formato csv no site do portal da transparência.
Para que este projeto aconteça, e necessário executar as etapas abaixo:
-
Etapa de Engenharia de Dados:
- Exploração dos dados originais em python (ok);
- Modelagem Dimensional Conceitual (ok);
- Criação de Tabelas Físicas em MYSQL localhost (ok);
- Criar processo de ETL para popular as tabelas utilizando o Pentaho junto com Python( );
- Validação dos dados em banco de dados local ( );
-
Etapa de Análise de Dados:
- Trazer uma visualização detalhada histórica dos dados em um DashBoard ( ) tarefa a ser elaborada;
-
Etapa de Ciência de Dados:
- Aplicar conceitos estatísticos nos dados ( ) - tarefa a ser elaborada