Brazilian E-Commerce ETL¶
Pipeline de ETL com Arquitetura de Medalhão sobre o dataset público da Olist, com modelagem dimensional em PostgreSQL e dashboard analítico em Power BI.
Disciplina de Sistemas de Banco de Dados 2 · Engenharia de Software, FGA/UnB.
O dataset¶
Brazilian E-Commerce Public Dataset by Olist — cerca de 100 mil pedidos realizados entre 2016 e 2018 em marketplaces brasileiros.
Deste conjunto, o pipeline consome três arquivos: pedidos, itens de pedido e produtos.
O caminho dos dados¶
graph LR
A[(CSV bruto)] --> B[etl_raw_to_silver]
B --> C[(silver)]
C --> D[etl_silver_to_gold]
D --> E[(gold / Star Schema)]
E --> F[Power BI]Raw — os CSVs originais da Olist, sem tratamento, como vieram da fonte.
Silver — dados limpos, tipados e enriquecidos, consolidados em uma tabela ampla com métricas derivadas como segmento de preço e prazo de entrega.
Gold — modelo dimensional em Star Schema, com quatro dimensões e uma tabela fato, pronto para consumo analítico.
O que o projeto entrega¶
-
Pipeline reproduzível
Banco em contêiner Docker e dois notebooks que levam do CSV ao modelo dimensional.
-
Modelagem dimensional
Star Schema com nomenclatura padronizada por mnemônicos documentados.
-
Dashboard analítico
Quatro painéis em Power BI: visão geral, saúde operacional, logística e segmentação.
-
Documentação de modelo
MER/DER das camadas silver e gold, dicionário de dados e consultas analíticas de validação.
Stack¶
| Camada | Tecnologia |
|---|---|
| Banco de dados | PostgreSQL 15 (Alpine) em Docker |
| Transformação | Python 3.10 · pandas · SQLAlchemy · psycopg2 |
| Exploração | Jupyter Notebook · seaborn · matplotlib |
| Visualização | Power BI |