Ce projet vise à créer une solution ETL en utilisant Apache Spark (PySpark) pour extraire, transformer et charger des données à partir d'OpenFoodFacts. L'objectif principal est de générer des menus hebdomadaires en utilisant les produits disponibles dans la base de données OpenFoodFacts, puis d'importer ces menus dans une base de données SQLite3.
-
Collecte de Données : Extraire des données d'OpenFoodFacts ainsi que d'autres sources liées aux programmes alimentaires et aux informations sur les utilisateurs.
-
Génération de Menus : Utiliser les données collectées pour générer des menus hebdomadaires de manière aléatoire. Les menus doivent refléter la diversité des produits disponibles dans la base de données OpenFoodFacts.
-
Équilibre Nutritionnel : Assurer que les menus générés respectent l'équilibre nutritionnel en fonction des informations spécifiées dans le programme alimentaire de l'utilisateur.
-
Importation dans SQLite3 : Charger les menus générés dans une base de données SQLite3 pour permettre une intégration aisée avec d'autres applications.
-
Environnement Virtuel : Créez un environnement virtuel pour isoler les dépendances du projet.
python3 -m venv venv source venv/bin/activate # Pour Linux/Mac # ou .\venv\Scripts\activate # Pour Windows
-
Installation des Dépendances : Installez les dépendances requises en utilisant le fichier
requirements.txt.pip install -r requirements.txt
-
Configuration Spark : Assurez-vous d'avoir une installation de Spark fonctionnelle. La configuration peut varier en fonction de votre environnement.
-
Base de Données SQLite3 : Créez une base de données SQLite3 pour stocker les menus générés.
sqlite3 openfoodfacts_menus.db < schema.sql
- Notebook ETL : Utilisez le notebook
files/etl_process.ipynbpour exécuter l'extraction, la transformation et le chargement des données en une seule séquence.
Les contributions sont les bienvenues. N'hésitez pas à ouvrir une issue ou une pull request. Ce projet est sous licence MIT.