[IMPORT] Intégrer les champs d'import lors de l'installation d'un protocole #398

jules-jean-louis1 · 2024-12-23T14:02:35Z

[IMPORT][MONITORING] IM_IMPORT_01.0 - Intégrer les champs d'import lors de l'installation d'un protocole Import V3 (view)

Intégration des champs d'import lors de l'installation d'un protocole

Ajout dans la table `bib_destinations`

Intégration du protocole installé dans la table bib_destinations.

Récupération et insertion des entités

Lecture des entités définies dans le fichier config.json du module.
Ajout des entités récupérées dans la table bib_entities.

Gestion des champs spécifiques et génériques

Génération d'un fichier JSON contenant :
- Les champs génériques (surcouche).
- Les champs spécifiques au protocole.
Insertion de ces champs dans les tables bib_fields et cor_entity_field.

Création de la table d'import

Mise en place d’une nouvelle table dédiée : t_import_{protocole}.
Cette table contiendra l'ensemble des champs du protocole, et sera ajoutée au schéma gn_imports.

…eld relationship

…nX-SI#391) * Fix edit map mode * Reinit leafletdraw config

* VESION and requirements.in * Docs * Changelog 1.0.0 / complément * Update README.md * Update docs/changelog.md * Bump GeoNature * Add postgis ltree extension * Suppression données orpheline synthese * Use geonature 03b_populate_db.sh script * Changelog --------- Co-authored-by: Camille Monchicourt <camille.monchicourt@ecrins-parcnational.fr>

…eld relationship

…tions/gn_module_monitoring into feat/import/install-protocol

camillemonchicourt · 2024-12-23T14:27:58Z

Il faudrait rebaser la branche de destination sur DEVELOP, car là la PR semble ajouter des commits qui sont liés à d'autres évolutions récentes de DEVELOP.

* VESION and requirements.in * Docs * Changelog 1.0.0 / complément * Update README.md * Update docs/changelog.md * Bump GeoNature * Add postgis ltree extension * Suppression données orpheline synthese * Use geonature 03b_populate_db.sh script * Changelog --------- Co-authored-by: Camille Monchicourt <camille.monchicourt@ecrins-parcnational.fr>

…eld relationship

jacquesfize · 2025-03-14T13:52:29Z

backend/gn_module_monitoring/command/utils.py

+        generic_data = json_from_file(generic_data_path, result_default={})
+
+        entity_confs[entity_code] = {
+            "specific_data": generic_data,


Suggested change

"specific_data": generic_data,

"specific_data": specific_data,

jacquesfize · 2025-03-14T13:57:45Z

backend/gn_module_monitoring/command/cmd.py

    try:
        module = get_simple_module("module_code", module_code)
-        # test si le module existe
+        # Vérifier si le module existe
        if module:


si le module monitoring existe déjà dans t_modules, il faut le vérifier et procéder à l'installation de la couche import (et ignoré la maj). Par exemple, en vérifiant l'existence dans la table destination

Suggested change

if module:

destination_exists = DB.session.scalar(

exists(Destination).where(Destination.code == module_code).select()

)

if module and destination_exists:

jacquesfize · 2025-03-14T14:01:17Z

backend/gn_module_monitoring/command/utils.py

+        Booléen indiquant si la mise à jour a réussi.
+    """
+    try:
+        DB.session.rollback()


Pourquoi un rollback ici ?

jacquesfize · 2025-03-14T14:05:09Z

Si un module de monitoring existe déjà dans t_modules, il faut ignorer le groupe d'instruction faisant l'ajout en base

L157 - cmd.py

 module = TMonitoringModules()
    module.from_dict(module_data)
    DB.session.add(module)
    DB.session.commit()

A remplacer par exemple par

if not DB.session.scalar(
        exists(TMonitoringModules).where(
            TMonitoringModules.module_code == module_code
        ).select()
    ):
        module = TMonitoringModules()
        module.from_dict(module_data)
        DB.session.add(module)
        DB.session.commit()

jacquesfize · 2025-03-20T09:55:12Z

backend/gn_module_monitoring/command/utils.py

+    elif (
+        "value" in field_data
+        and isinstance(field_data["value"], dict)
+        and "code_nomenclature_type" in field_data["value"]
+    ):
+        mnemonique = field_data["value"]["code_nomenclature_type"]


Étrange ça ? La nomenclature peut être déclaré à des endroits différents selon le protocole ?

jacquesfize · 2025-04-09T14:40:38Z

Intégré dans #424

jacquesfize and others added 18 commits December 13, 2024 10:16

feat(version): change VERSION file

92e2d7a

feat: wip install import monitoring

b4686cc

feat: wip Add bib_fields insertion for monitoring module

0a37ecd

feat: wip Add module import bib functionality

dc606b0

feat: wip create a revision for the t_import table, add cor_entity_fi…

09b9646

…eld relationship

feat: handle type_widget for postgresql type

a7f7156

feat: update module monitoring code retrieval to use dynamic module_code

01acb24

[Frontend] Correction modification des géomatrie lors de l'édition (P…

af6ebcc

…nX-SI#391) * Fix edit map mode * Reinit leafletdraw config

Pytest : run on branch main, hotfixes, develop

dadadc6

Release 1.0.0 date

1207d28

feat: wip install import monitoring

08b2af0

feat: wip Add bib_fields insertion for monitoring module

fd75ef7

feat: wip Add module import bib functionality

966b135

feat: wip create a revision for the t_import table, add cor_entity_fi…

aba60c8

…eld relationship

feat: handle type_widget for postgresql type

1c9bc1e

feat: update module monitoring code retrieval to use dynamic module_code

5c46f0b

Merge branch 'feat/import/install-protocol' of github.com:naturalsolu…

ff676aa

…tions/gn_module_monitoring into feat/import/install-protocol

jules-jean-louis1 marked this pull request as draft December 23, 2024 14:37

jules-jean-louis1 changed the base branch from feat/import-monitoring to develop December 23, 2024 15:21

jacquesfize and others added 9 commits December 23, 2024 16:39

feat(version): change VERSION file

5458548

Release 1.0.0 date

3203748

feat: wip install import monitoring

10905cf

feat: wip Add bib_fields insertion for monitoring module

37614da

feat: wip Add module import bib functionality

1c13914

feat: wip create a revision for the t_import table, add cor_entity_fi…

00a5e95

…eld relationship

feat: handle type_widget for postgresql type

7fcb4ca

feat: update module monitoring code retrieval to use dynamic module_code

4f33813

20cents added 3 commits February 27, 2025 13:04

fix: gn_imports.bib_entities.label on protocol installation

617801b

fix: install protocol add required available perms for imports

6299282

fix: type widget on protocol installation

4e1ffa7

20cents force-pushed the feat/import/install-protocol branch from d3af099 to 4e1ffa7 Compare February 28, 2025 08:44

jules-jean-louis1 changed the base branch from develop to feat/import-monitoring March 6, 2025 14:44

20cents added 2 commits March 11, 2025 08:45

fix: fields on install protocol

7ab14ae

style: code format

018c372

jules-jean-louis1 marked this pull request as ready for review March 11, 2025 15:28

camillemonchicourt requested a review from amandine-sahl March 11, 2025 17:08

fix: fields prefixe on install protocole

214cf38

jacquesfize force-pushed the feat/import-monitoring branch from 4fb75fe to 90863ed Compare March 14, 2025 09:03

jacquesfize reviewed Mar 14, 2025

View reviewed changes

20cents added 2 commits March 17, 2025 15:20

feat-import: install enhancements after review

71715ee

feat-import: add dataset fields on install protocol

4436faf

20cents force-pushed the feat/import/install-protocol branch 2 times, most recently from 6667140 to 3e910fa Compare March 17, 2025 17:03

feat-import: add geom fields on install protocol

7ebeb32

20cents force-pushed the feat/import/install-protocol branch from 3e910fa to 7ebeb32 Compare March 18, 2025 08:28

feat-import: fix transient table creation

60d882e

jacquesfize reviewed Mar 20, 2025

View reviewed changes

20cents added 4 commits March 20, 2025 13:11

feat-import: add missing cols in transient table

aa526ae

feat-import: fix some fields type on install

0c3f60c

feat-import: fix MonitoringSitesSchema exclude geom_local

dc7276b

feat-import: handle manually id and uuid fields on install

7640f31

jacquesfize force-pushed the feat/import-monitoring branch from 9e73f30 to 4c0d6be Compare April 7, 2025 13:30

jacquesfize closed this Apr 9, 2025

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

[IMPORT] Intégrer les champs d'import lors de l'installation d'un protocole #398

[IMPORT] Intégrer les champs d'import lors de l'installation d'un protocole #398

jules-jean-louis1 commented Dec 23, 2024

camillemonchicourt commented Dec 23, 2024

jacquesfize Mar 14, 2025

jacquesfize Mar 14, 2025 •

edited

Loading

jacquesfize Mar 14, 2025

jacquesfize commented Mar 14, 2025

jacquesfize Mar 20, 2025

jacquesfize commented Apr 9, 2025

	"specific_data": generic_data,
	"specific_data": specific_data,

-        if module:
+        destination_exists = DB.session.scalar(
+            exists(Destination).where(Destination.code == module_code).select()
+        )
+        if module and destination_exists:

[IMPORT] Intégrer les champs d'import lors de l'installation d'un protocole #398

[IMPORT] Intégrer les champs d'import lors de l'installation d'un protocole #398

Conversation

jules-jean-louis1 commented Dec 23, 2024

Intégration des champs d'import lors de l'installation d'un protocole

Ajout dans la table bib_destinations

Récupération et insertion des entités

Gestion des champs spécifiques et génériques

Création de la table d'import

camillemonchicourt commented Dec 23, 2024

jacquesfize Mar 14, 2025

Choose a reason for hiding this comment

jacquesfize Mar 14, 2025 • edited Loading

Choose a reason for hiding this comment

jacquesfize Mar 14, 2025

Choose a reason for hiding this comment

jacquesfize commented Mar 14, 2025

jacquesfize Mar 20, 2025

Choose a reason for hiding this comment

jacquesfize commented Apr 9, 2025

Ajout dans la table `bib_destinations`

jacquesfize Mar 14, 2025 •

edited

Loading