From d667bfffbfa29a30826a6a18b3b7902304531179 Mon Sep 17 00:00:00 2001 From: KEBIRI Isam Date: Tue, 17 Jan 2023 23:46:52 +0100 Subject: [PATCH] update readme --- README.md | 88 ++++++++++++++++++++++++++++++++++++++++++++++++++----- 1 file changed, 81 insertions(+), 7 deletions(-) diff --git a/README.md b/README.md index 10212d2..9051caa 100644 --- a/README.md +++ b/README.md @@ -2,19 +2,20 @@ ![GitHub last commit](https://img.shields.io/github/last-commit/Master2-IAFA/65307369?color=red) -![GitHub dev_language](https://img.shields.io/badge/Python-yellow?style=flat&logo=python&logoColor=white) -![GitHub dev_language](https://img.shields.io/badge/Nltk-blue?style=flat&logo=solidity&logoColor=white) + +![GitHub dev_language](https://img.shields.io/badge/Python-yellow?style=flat&logo=python&logoColor=white) +![GitHub dev_language](https://img.shields.io/badge/Jupyter-orange?style=flat&logo=jupyter&logoColor=white) ![GitHub dev_language](https://img.shields.io/badge/Pandas-6aa84f?style=flat&logo=pandas&logoColor=white) -![GitHub dev_language](https://img.shields.io/badge/Scikit--learn-orange?style=flat&logo=scikit-learn&logoColor=white) +![GitHub dev_language](https://img.shields.io/badge/Flask-000000?style=flat&logo=flask&logoColor=white) +![GitHub dev_language](https://img.shields.io/badge/API-blue?style=flat&logo=fastapi&logoColor=white) +![GitHub dev_language](https://img.shields.io/badge/Trello-brown?style=flat&logo=trello&logoColor=white) + ![GitHub contributors](https://img.shields.io/github/contributors/Master2-IAFA/65307369?style=social) **Chef d'œuvre – Projet fin d’étude** \ **Université Toulouse III - Paul Sabatier** - -## About The Project - Membres du groupe : - ERREBIAI Chaimae : chaimae.errebiai2@gmail.com @@ -26,9 +27,82 @@ Membres du groupe : Responsable pédagogique : - SHAOYI Yin : shaoyi.yin@irit.fr +## About The Project +Le but de ce projet est de créé un Système Optimisé d’Intégration Virtuelle De +Données – SOIVD qui exploitera différentes bases de données en relation avec +l’énergie et la météo afin d’apporter une analyse du contexte actuel de crise +d'énergies. +##### Contexte +● Évolution vers de grosses quantités de données (Big Data) +● Plusieurs sources d’informations (SGBD relationnels, fichiers, applications, +pages Web ...) +● Des données de plus en plus hétérogènes et interfaces d’accès variées +(langages d’interrogation, modèle de données, interfaces d’appel …) + +##### Solution proposée +Un Système Optimisé d’Intégration Virtuelle De Données - SOIVD avec une +architecture médiateur-adaptateur et une capacité d’intégration de plusieurs sources +de données hétérogènes. + +##### Objectif +Un accès uniforme à des sources multiples, autonomes et hétérogènes et structurés + + +#### Built With +- Python +- Pandas +- APIs + +## Installation + +Use the package manager `pip` to install + +```bash +pip install pandasql +pip install contextlib +pip install bs4 +``` + +## Packages + +```python + +import json +import requests as rq +import dateutil.parser +import pandas as pd +from pandasql import sqldf +from termcolor import colored +from contextlib import closing +from urllib.request import urlopen +from bs4 import BeautifulSoup as bs +``` +## Conception +L'architecture globale + + +Diagramme de séquence + + + +## Dataset + +Choix des BDs : Nous avons choisi les bases de données par rapport aux contextes de crise de l’énergie, nous exploiterons donc deux API contenant des données relatives à la consommation gaz et électricité dans différentes régions, le troisième API quant à lui contient des données météorologiques notamment température et humidité sur différents laps de temps + +### Description des APIs + +| Badge | URL | +| ------------------------------------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------- | +| [API Meteomatics]() | L’API Meteomatics fourni par une compagnie suisse du même nom experte en prédiction météo permet de récupérer des données météorologiques passées, actuelles et prévisionnelles à l’échelle mondiale. Cela comprend les données de modèle et les données d’observation dans des séries chronologiques et des formats surfaciques. | +| [API Energie ODRE](https://odre.opendatasoft.com/explore/dataset/conso-epci-annuelle/information/?disjunctive.libelle_epci&disjunctive.libelle_departements&disjunctive.libelle_regions&disjunctive.e_operateurs&disjunctive.g_operateurs) | Ce jeu de données rendu disponible par la plateforme d'Open Data Réseaux Énergies (ODRÉ) est constitué à partir des données locales de consommation finale en MWh publiés par le ministère de la Transition écologique et solidaire (état au 01/10/2020), regroupées par EPCI (établissements publics de coopération intercommunale), les données sont multiénergies, multiopérateurs et multi-réseaux | +| [API Energie ODE](https://opendata.agenceore.fr/explore/dataset/conso-elec-gaz-annuelle-par-secteur-dactivite-agregee-epci/information/) | Cette base de données issue de l’agence ORE (Opérateurs de Réseaux d’Énergie) qui est une alliance de tous les distributeurs français d'électricité et de gaz permet de visualiser l’évolution de 2011 à 2021 des consommations d'électricité et de gaz par secteur d'activité (résidentiel, tertiaire, industriel, agricole ou non affecté) et par EPCI (établissements publics de coopération intercommunale). | + + + + -# Exemple d'usage de l'API Consommation d'électricite et de Gaz +### Exemple d'usage de l'API Consommation d'électricite et de Gaz ## Documentation Documentation de l'api dans ./API_ConsommationElectriciteGaz/Description de l'API.pdf ## Mise en place de l'environnement et installations :