Framework de ingestão da plataforma bigdata: Open-Meteo (clima), Rest Countries v5 (países) e Banco Mundial (indicadores socioeconômicos) para a camada bronze, em Parquet no S3. Fontes isoladas, schema validado, gravação idempotente e testes com pytest. Roda em Docker.
python docker big-data etl rest-api aws-s3 pandas pytest data-engineering data-lake data-platform parquet rest-countries data-ingestion trino world-bank open-meteo awswrangler
-
Updated
Oct 1, 2026 - Python