An unexpected error occured while loading the data

[Lunyyx]

Bonjour,

Lorsque j'essaye d'utiliser home-assistant-gazpar, j'obtiens une erreur, la voici:

2024-10-06 17:28:07.969 ERROR (SyncWorker_28) [pygazpar.datasource] An error occurred while loading data. Retry in 3 seconds.
2024-10-06 17:28:11.161 ERROR (SyncWorker_28) [pygazpar.datasource] An error occurred while loading data. Retry in 3 seconds.
2024-10-06 17:28:14.350 ERROR (SyncWorker_28) [pygazpar.datasource] An error occurred while loading data. Retry in 3 seconds.
2024-10-06 17:28:17.549 ERROR (SyncWorker_28) [pygazpar.datasource] An error occurred while loading data. Retry in 3 seconds.
2024-10-06 17:28:20.735 ERROR (SyncWorker_28) [pygazpar.datasource] An error occurred while loading data. Retry in 3 seconds.
2024-10-06 17:28:24.083 ERROR (SyncWorker_28) [pygazpar.datasource] An error occurred while loading data. Retry in 3 seconds.
2024-10-06 17:28:27.278 ERROR (SyncWorker_28) [pygazpar.datasource] An error occurred while loading data. Retry in 3 seconds.
2024-10-06 17:28:30.464 ERROR (SyncWorker_28) [pygazpar.datasource] An error occurred while loading data. Retry in 3 seconds.
2024-10-06 17:28:33.790 ERROR (SyncWorker_28) [pygazpar.datasource] An error occurred while loading data. Retry in 3 seconds.
2024-10-06 17:28:37.034 ERROR (SyncWorker_28) [pygazpar.client] An unexpected error occured while loading the data
Traceback (most recent call last):
  File "/usr/local/lib/python3.12/site-packages/pygazpar/client.py", line 52, in loadDateRange
    res = self.__dataSource.load(pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 64, in load
    res = self._loadFromSession(auth_token, pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 310, in _loadFromSession
    raise e
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 301, in _loadFromSession
    raise Exception("An error occurred while loading data. Please check your credentials.")
Exception: An error occurred while loading data. Please check your credentials.
2024-10-06 17:28:37.037 ERROR (SyncWorker_28) [pygazpar.client] An unexpected error occured while loading the data
Traceback (most recent call last):
  File "/usr/local/lib/python3.12/site-packages/pygazpar/client.py", line 39, in loadSince
    res = self.loadDateRange(pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/client.py", line 52, in loadDateRange
    res = self.__dataSource.load(pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 64, in load
    res = self._loadFromSession(auth_token, pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 310, in _loadFromSession
    raise e
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 301, in _loadFromSession
    raise Exception("An error occurred while loading data. Please check your credentials.")
Exception: An error occurred while loading data. Please check your credentials.
2024-10-06 17:28:37.041 ERROR (SyncWorker_28) [custom_components.gazpar.sensor] Failed to query PyGazpar library. The exception has been raised: Traceback (most recent call last):
  File "/config/custom_components/gazpar/sensor.py", line 138, in update_gazpar_data
    self._dataByFrequency = client.loadSince(self._pceIdentifier, 1095)
                            ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/client.py", line 39, in loadSince
    res = self.loadDateRange(pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/client.py", line 52, in loadDateRange
    res = self.__dataSource.load(pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 64, in load
    res = self._loadFromSession(auth_token, pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 310, in _loadFromSession
    raise e
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 301, in _loadFromSession
    raise Exception("An error occurred while loading data. Please check your credentials.")
Exception: An error occurred while loading data. Please check your credentials.

Par ailleurs, j'ai aussi souvent cette erreur:

Failed to query PyGazpar library. The exception has been raised: An error occurred while loading data. Status code: 500 - {"code":500,"message":"Internal Server Error"}

Evidemment, j'ai tenté plusieurs choses, j'ai vérifié plusieurs fois mes identifiants, qui fonctionnent, aussi bien sur le site de GRDF, mais aussi sur la librairie Python directement (Hors Home Assistant donc)

J'avoue que j'ai du mal à comprendre pourquoi la librairie fonctionne sur le même serveur, mais via python directement, mais par contre via Home Assistant, ça ne veut pas...

Une idée ?

Merci !

[ssenart]

Bonjour,

Tu dis: "j'ai aussi souvent cette erreur:".

Est-ce que ça veut dire que ça fonctionnait avant ?

Quelles versions de HA et de l'intégration utilises tu ?

Autre chose: il ne faut pas mettre de caractères spéciaux dans le mot de passe.

[Lunyyx]

Bonjour,

Tu dis: "j'ai aussi souvent cette erreur:".

Est-ce que ça veut dire que ça fonctionnait avant ?

Quelles versions de HA et de l'intégration utilises tu ?

Autre chose: il ne faut pas mettre de caractères spéciaux dans le mot de passe.

Bonjour,

Oui, durant mes différent essais, j'ai souvent eu cette erreur.

Non non, mon installation est toute nouvelle, elle date d'hier, elle tourne sur une machine virtuelle KVM selon le tutoriel du site officiel.

Concernant la version de Home Assistant:
Core
2024.10.1

Supervisor
2024.09.1

Operating System
13.1

Interface utilisateur
20241002.2

J'utilise la toute dernière version de l'intégration, soit 1.3.7.

Concernant le mot de passe, c'est ce que j'avais cru comprendre, j'ai essayé de le changer pour quelque chose de plus simple, sans succès, pourtant les deux fonctionnaient si j'utilise le script python directement...

[ssenart]

Lorsque tu fais les tests avec la librairie PyGazpar directement, tu fais ça directement dans KVM ?

Sinon, je ne vois pas pourquoi l'un fonctionnerait et pas l'autre ! Les deux utilisent bien la même installation de Python ? Version 3.12 d'après les logs...

[Lunyyx]

Lorsque tu fais les tests avec la librairie PyGazpar directement, tu fais ça directement dans KVM ?

Sinon, je ne vois pas pourquoi l'un fonctionnerait et pas l'autre ! Les deux utilisent bien la même installation de Python ? Version 3.12 d'après les logs...

Exactement, j'ai essayé à l'intérieur de KVM, et ça fonctionne via la librairie.

Par contre, rien du côté de Home Assistant, j'ai que des erreurs, ce que je trouve hyper étrange....

Les versions de Python sont bien les mêmes, je le confirme

[Lunyyx]

Je viens de voir cette erreur un peu plus haut, si ça peut aider:

2024-10-06 19:58:13.943 WARNING (SyncWorker_0) [homeassistant.loader] We found a custom integration hacs which has not been tested by Home Assistant. This component might cause stability problems, be sure to disable it if you experience issues with Home Assistant
2024-10-06 19:58:13.944 WARNING (SyncWorker_0) [homeassistant.loader] We found a custom integration gazpar which has not been tested by Home Assistant. This component might cause stability problems, be sure to disable it if you experience issues with Home Assistant
2024-10-06 19:58:16.046 WARNING (MainThread) [homeassistant.util.loop] Detected blocking call to open with args ('/config/custom_components/gazpar/manifest.json',) inside the event loop by custom integration 'gazpar' at custom_components/gazpar/manifest.py, line 14: with open(manifestFilePath) as jsonFile: (offender: /config/custom_components/gazpar/manifest.py, line 14: with open(manifestFilePath) as jsonFile:), please create a bug report at https://github.com/ssenart/ha-custom_components/issues
For developers, please see https://developers.home-assistant.io/docs/asyncio_blocking_operations/#open

[Fenkiou]

Perso j’ai exactement le même soucis, j’arrive à récupérer les données via la lib directement, mais via home assistant, ça me génère la même erreur.

[ssenart]

Concernant le message "Detected blocking call", j'ai une idée d'où ça peut venir. Je vois que maintenant HA utilise les routines async de Python que ne sont pas mise en oeuvre dans home-assistant-gazpar.

Cela nécessite un peu de travail pour le mettre à jour et s'aligner sur la nouvelle bonne façon de fonctionner. A l'occasion, voir si il y a d'autres éléments de code à actualiser...

Je vais essayer de dégager un peu de temps prochainement pour faire ça.

[C-Duv]

J'ai également les même erreurs « An error occurred while loading data. Please check your credentials. », visibles dans les journaux (URL /config/logs) :

Enregistreur: pygazpar.client
Source: /usr/local/lib/python3.12/site-packages/pygazpar/client.py:41
S'est produit pour la première fois: 5 octobre 2024 à 21:59:56 (3 occurrences)
Dernier enregistrement: 05:59:50
An unexpected error occured while loading the data

Traceback (most recent call last):
  File "/usr/local/lib/python3.12/site-packages/pygazpar/client.py", line 39, in loadSince
    res = self.loadDateRange(pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/client.py", line 52, in loadDateRange
    res = self.__dataSource.load(pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 64, in load
    res = self._loadFromSession(auth_token, pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 310, in _loadFromSession
    raise e
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 301, in _loadFromSession
    raise Exception("An error occurred while loading data. Please check your credentials.")
Exception: An error occurred while loading data. Please check your credentials.

La commande suivante fonctionne pourtant très bien, mais je ne l'ai exécutée que depuis mon ordinateur car je n'arrive pas à trouver comment la tester sur Home Assistant (avec l'add-on "Terminal & SSH" j'ai bien une CLI mais il n'y trouve pas python) :

python -m pygazpar -u "${login}" -p "${password}" -c "${pce}" --datasource 'json'

[ssenart]

Hello,

Je viens de fixer le problème en 1.3.8 qui amène le message:

Detected blocking call to open with args ('/config/custom_components/gazpar/manifest.json',) inside the event loop by custom integration 'gazpar' at custom_components/gazpar/manifest.py, line 14: with open(manifestFilePath) as jsonFile: (offender: /config/custom_components/gazpar/manifest.py, line 14: with open(manifestFilePath) as jsonFile:), please create a bug report at https://github.com/ssenart/ha-custom_components/issues
For developers, please see https://developers.home-assistant.io/docs/asyncio_blocking_operations/#open

Pourriez-vous vérifier si ça corrige aussi l'autre problème ?

[C-Duv]

Je ne vois plus d'erreur Detected blocking call mais j'ai encore l'autre :

Enregistreur: pygazpar.client
Source: /usr/local/lib/python3.12/site-packages/pygazpar/client.py:41
S'est produit pour la première fois: 22:53:39 (1 occurrences)
Dernier enregistrement: 22:53:39

An unexpected error occured while loading the data
Traceback (most recent call last):
  File "/usr/local/lib/python3.12/site-packages/pygazpar/client.py", line 39, in loadSince
    res = self.loadDateRange(pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/client.py", line 52, in loadDateRange
    res = self.__dataSource.load(pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 64, in load
    res = self._loadFromSession(auth_token, pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 310, in _loadFromSession
    raise e
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 304, in _loadFromSession
    raise Exception(f"An error occurred while loading data. Status code: {response.status_code} - {response.text}")
Exception: An error occurred while loading data. Status code: 500 - {"code":500,"message":"Internal Server Error"}

[Lunyyx]

Salut,

Merci de la mise à jour, mais le soucis reste le même pour moi aussi malheureusement... 😕

[Fenkiou]

Le problème est toujours là. Voici le log complet (ou tout du moins ce que je peux récupérer via l'interface d'home assistant). Plus d'erreur de credentials semblerait.

2024-10-08 09:23:08.188 WARNING (SyncWorker_0) [homeassistant.loader] We found a custom integration gazpar which has not been tested by Home Assistant. This component might cause stability problems, be sure to disable it if you experience issues with Home Assistant
2024-10-08 09:23:08.189 WARNING (SyncWorker_0) [homeassistant.loader] We found a custom integration hacs which has not been tested by Home Assistant. This component might cause stability problems, be sure to disable it if you experience issues with Home Assistant
2024-10-08 09:23:08.457 WARNING (Recorder) [homeassistant.components.recorder.util] The system could not validate that the sqlite3 database at //config/home-assistant_v2.db was shutdown cleanly
2024-10-08 09:23:08.466 WARNING (Recorder) [homeassistant.components.recorder.util] Ended unfinished session (id=12 from 2024-10-08 07:16:59.458129)
2024-10-08 09:23:17.619 ERROR (SyncWorker_4) [pygazpar.datasource] An error occurred while loading data. Retry in 3 seconds.
2024-10-08 09:23:21.395 ERROR (SyncWorker_4) [pygazpar.datasource] An error occurred while loading data. Retry in 3 seconds.
2024-10-08 09:23:25.671 ERROR (SyncWorker_4) [pygazpar.datasource] An error occurred while loading data. Retry in 3 seconds.
2024-10-08 09:23:29.954 ERROR (SyncWorker_4) [pygazpar.datasource] An error occurred while loading data. Retry in 3 seconds.
2024-10-08 09:23:34.017 ERROR (SyncWorker_4) [pygazpar.datasource] An error occurred while loading data. Retry in 3 seconds.
2024-10-08 09:23:37.623 ERROR (SyncWorker_4) [pygazpar.datasource] An error occurred while loading data. Retry in 3 seconds.
2024-10-08 09:23:41.368 ERROR (SyncWorker_4) [pygazpar.datasource] An error occurred while loading data. Retry in 3 seconds.
2024-10-08 09:23:45.369 ERROR (SyncWorker_4) [pygazpar.datasource] An error occurred while loading data. Retry in 3 seconds.
2024-10-08 09:23:48.832 ERROR (SyncWorker_4) [pygazpar.datasource] An error occurred while loading data. Retry in 3 seconds.
2024-10-08 09:23:53.724 ERROR (SyncWorker_4) [pygazpar.client] An unexpected error occured while loading the data
Traceback (most recent call last):
  File "/usr/local/lib/python3.12/site-packages/pygazpar/client.py", line 52, in loadDateRange
    res = self.__dataSource.load(pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 64, in load
    res = self._loadFromSession(auth_token, pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 310, in _loadFromSession
    raise e
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 304, in _loadFromSession
    raise Exception(f"An error occurred while loading data. Status code: {response.status_code} - {response.text}")
Exception: An error occurred while loading data. Status code: 500 - {"code":500,"message":"Internal Server Error"}
2024-10-08 09:23:53.726 ERROR (SyncWorker_4) [pygazpar.client] An unexpected error occured while loading the data
Traceback (most recent call last):
  File "/usr/local/lib/python3.12/site-packages/pygazpar/client.py", line 39, in loadSince
    res = self.loadDateRange(pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/client.py", line 52, in loadDateRange
    res = self.__dataSource.load(pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 64, in load
    res = self._loadFromSession(auth_token, pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 310, in _loadFromSession
    raise e
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 304, in _loadFromSession
    raise Exception(f"An error occurred while loading data. Status code: {response.status_code} - {response.text}")
Exception: An error occurred while loading data. Status code: 500 - {"code":500,"message":"Internal Server Error"}
2024-10-08 09:23:53.731 ERROR (MainThread) [custom_components.gazpar.sensor] Failed to query PyGazpar library. The exception has been raised: Traceback (most recent call last):
  File "/config/custom_components/gazpar/sensor.py", line 146, in async_update_gazpar_data
    self._dataByFrequency = await loop.run_in_executor(None, client.loadSince, self._pceIdentifier, 1095)
                            ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/concurrent/futures/thread.py", line 58, in run
    result = self.fn(*self.args, **self.kwargs)
             ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/client.py", line 39, in loadSince
    res = self.loadDateRange(pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/client.py", line 52, in loadDateRange
    res = self.__dataSource.load(pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 64, in load
    res = self._loadFromSession(auth_token, pceIdentifier, startDate, endDate, frequencies)
          ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 310, in _loadFromSession
    raise e
  File "/usr/local/lib/python3.12/site-packages/pygazpar/datasource.py", line 304, in _loadFromSession
    raise Exception(f"An error occurred while loading data. Status code: {response.status_code} - {response.text}")
Exception: An error occurred while loading data. Status code: 500 - {"code":500,"message":"Internal Server Error"}

[C-Duv]

@ssenart qu'est-ce que je (on) peut faire/tester pour aider ?

Déjà j'aimerais bien accéder en CLI à ce qui exécute l'integration, ça me permettrait de bidouiller pour voir ce qui se passe.

[ssenart]

Une autre idée:

Dans le code de l'intégration, le profondeur de jours pour récupérer des données est en dur à 1095 jours. Autrement dit, on demande à GrDF de nous reconvoyer les derniers 1095 jours de données.

Et vous avez "Internal Server Error" qui dénote une erreur côté serveur GrDF.

Peut-être que cette profondeur doit être ajustée suivant les comptes ?

Pour nous en assurer, est-ce vous pouvez utiliser PyGazpar en ligne de commande et jouer avec le paramètre -d (--lastNDays) en commençant petit jusqu'à la valeur de 1095 ? Est-ce que vous reproduisez l'erreur à partir d'une certaine valeur ?