v2.9.1

Normalisation des codes CPV (codeCPV) : les codes de moins de 8 caractères sont terminés par des "0", les codes de plus de 8 caractères sont raccourcis. Le numéro de contrôle à la fin des code était déjà supprimé.

v2.9.0

• Ajout du champ type qui indique le type de marché : fournitures, services ou travaux (dérivé du code CPV)
• distance renommé titulaire_distance par cohérence, cette donnée étant liée au titulaire, et un marché peut avoir plusieurs titulaires

v2.8.0: - Ajout du champ `titulaire_categorie` (PME, ETI, GE)

• Ajout du champ titulaire_categorie (PME, ETI, GE)
• Publication de statistiques sur les marchés publics (statistiques_marches.json)
• Publication de statistiques sur les doublons entre sources de données (statistiques-doublons-sources.parquet)
• Ignorer les petits fichiers vides (< 180 octets)

v2.7.1

• Gestion des datasets dépubliés par leur propriétaire (arrêt du workflow pour ne pas écraser les données de prod et pouvoir en extraire les données à présent indisponibles)

v2.7.0: - Remplacement des guillemets simples par des apostrophes dans "objet"

• Remplacement des guillemets simples par des apostrophes dans "objet"
• Ajout des données de l'API DUME (code source scrap_aife_dume) (#144)
• Ajout des données du profil d'acheteur Klekoon (code source scrap_klekoon) (#71)

v2.6.4

• Tri et numérotation des modifications après la concaténation plutôt que par ressource, pour réduire le nombre de doublons (#156)
• Utilisation du logger de prefect plûtot que log_prints=True (#94)

v2.6.3

• Téléchargement des ressources plus résilient aux erreurs (tenacity)
• Téléchargement des données établissements plus résilient aux erreurs (tenacity)

v2.6.2

• Réduction du nombre de tâches prefect pour réduire la charge sur la BDD et la latence
• Utilisation du multithreading standard de Python plutôt que celui de Prefect
• Le nom d'établissement n'est ajouté entre parenthèses que s'il est différent de celui de l'unité légale

v2.6.1: - Séparation des fichiers de référence et des fichiers de données

• Séparation des fichiers de référence et des fichiers de données
• Réorganisation des variables d'environnement
• Correction de certains imports de modules

v2.6.0

• Abandon des données consolidées par le MINEF, récupération des données à la source (#151)
  • Xmarchés
  • AWS (officiel et legacy)
  • PES marché (avant et après 2024)
  • Dematis / e-marchespublics
• Ajout du champ dureeRestanteMois (#135)
• Amélioration des noms des titulaires (personnes physiques et non-diffusibles) (#145)
• Ajout de nombreux tests unitaires
• Amélioration de la gestion des modifications (#148)
• Traitement des ressources en parallèle (#113)
• Optimisation de la consommation de mémoire (matérialisation en parquet) (#153)
• Résilience contre les erreurs pendant get_clean (seule la ressource échoue, pas tout le process)
• Mise en place d'un système de cache custom (parquet)
• Protection contre la publication par erreur sur data.gouv.fr (ffaf0535)