Erreurs d'agrégations dans l'onglet "Tâches en arrière

Dans l’onglet « Tâches en arrière plan », j’ai des erreurs systématiques d’agrégation mensuelle, journalière ou horaire, voici le dernier rapport en date :

Agrégation donnée capteur mensuelle

****il y a 10 minutes

Error: Error at Database. (/src/server/node_modules/sequelize/lib/dialects/sqlite/query.js:179:27) at /src/server/node_modules/sequelize/lib/dialects/sqlite/query.js:177:50 at new Promise () at Query.run (/src/server/node_modules/sequelize/lib/dialects/sqlite/query.js:177:12) at /src/server/node_modules/sequelize/lib/sequelize.js:314:28 at async SQLiteQueryInterface.bulkUpdate (/src/server/node_modules/sequelize/lib/dialects/abstract/query-interface.js:366:12) at async t_device_feature.update (/src/server/node_modules/sequelize/lib/model.js:1958:28) at async /src/server/lib/device/device.calculcateAggregateChildProcess.js:153:5 { name: ‹ SequelizeTimeoutError ›, parent: [Error: SQLITE_BUSY: database is locked] { errno: 5, code: ‹ SQLITE_BUSY ›, sql: ‹ UPDATE t_device_feature SET last_monthly_aggregate=$1,updated_at=$2 WHERE id = $3 › }, original: [Error: SQLITE_BUSY: database is locked] { errno: 5, code: ‹ SQLITE_BUSY ›, sql: ‹ UPDATE t_device_feature SET last_monthly_aggregate=$1,updated_at=$2 WHERE id = $3 › }, sql: ‹ UPDATE t_device_feature SET last_monthly_aggregate=$1,updated_at=$2 WHERE id = $3 ›, parameters: {} }

Je constate par ailleurs très souvent des temps de latence très importants (plusieurs minutes voire plus), ceci est peut-être lié ?

Gladys Plus tourne sur un Nas Synology DS218 avec DSM7 et 10 GB de Ram, et en utilise régulièrement pratiquement 2GB, ce qui me semble beaucoup !

Merci pour votre aide.

Salut @jparbel !

Est-ce que tu peux me parler un peu plus de ton installation ?

  • Stockage: SSD, HDD ?
  • Nombre d’appareils connectés et avec quelle techno ? (Zigbee, etc…)
  • Des caméras, et si oui avec quelle fréquences de rafraichissement ?

L’erreur indique que ta base de donnée a du mal à suivre, et que du coup l’agrégation échoue parfois par manque de « disponibilité » du fichier de DB.

J’imagine que tu parles de Gladys (et pas Gladys Plus)

Tout dépend de ton installation ! 2GB ça peut-être beaucoup, mais ça peut-être normal en cas de grosse installation.

Des latences c’est à dire ?

Merci @pierre-gilles
Non, je parle bien de mon install Gladys plus qui tourne maintenant depuis 4 mois environ sur mon NAS.
J’ai principalement des devices Zigbee (environ 10 à 15) et une caméra IP Xiaomi que j’ai provisoirement supprimé.
J’ai aussi des devices virtuels mqtt + webhook ifttt.
Ma db fait environ 1.2 GB, j’ai essayé de la nettoyer en cli comme tu avais conseillé à @lmilcent sur un autre post, mais sans résultat.
Par latence, j’entends le temps de réponse à l’ouverture ou au changement de page.
Merci pour ton aide.

Est-ce que tu peux me lister toutes les appareils Zigbee que tu utilises ? Par hasard tu n’as pas un Lixee TIC ?

@pierre-gilles
Non je n’utilise pas de Lixee, j’ai mon propre système de teleinfo non intégré à Gladys.
Voici la lise de mes appareils zigbee, les 2 appareils non supportés ne sont pas intégrés dans Gladys


En fait ce qu’il faudrait arriver à trouver, c’est si il y a un appareil chez toi qui « spam » Gladys et qui envoie un peu trop de valeur, ce qui ralentit Gladys.

Je parlais du Lixee TIC car c’est un appareil qui est connu pour avoir des réglages par défaut un peu trop « agressif » et il faut les réduire sinon Gladys est un peu sous l’eau.

Si tu peux, regarder la DB et la fréquence d’envoie de chaque device peut nous aider à trouver.

Tu as combien de scènes sinon ?

@pierre-gilles Je n’ai que 3 scènes qui sont peu invasives.
J’ai déjà supprimé dans ma DB les intégrations les plus volumineuses (une dizaine) avec
DELETE FROM t_device_feature_state WHERE device_feature_id = ‹  ›; mais ça n’a rien amélioré.
Si tu veux je peux t’envoyer en mp ma db.

Supprimer les états ne va pas changer quelque chose dans ton cas, tu ne règles que le « passé » mais pas le futur :slight_smile: Si un device spamme dans le passé et que tu ne changes rien, il spammera toujours dans le futur !

Est-ce que tu peux aussi faire un tour de tes intégrations et vérifier que tu as uniquement le strict minimum de fonctionnalités qui sont cochées en :

Ensuite, une fois que tu as fais ton clean et que toutes les tâches « Nettoyage des états d’un appareil » (dans l’onglet « Tâches en arrière plan ») sont terminées, lance un nettoyage :

Si tu veux je peux t’envoyer en mp ma db.

En l’état je ne pense pas que ce soit utile (je ne vais rien voir vu que tu as tout supprimé)

@pierre-gilles
Je pense avoir résolu mon problème en remplaçant mon dongle Zigbee tout simplement !
A voir dans le temps !
J’en ai profité pour faire un peu de ménage et tout est passé au vert maintenant.
Pour info j’ai des Sonoff commandés chez Domadoo.
Merci pour ton aide.

1 « J'aime »

Salut @jparbel,
J’ai exactement le même problème que toi que ce soit pour les aggrégations horaires, journalières ou mensuelles.
Il en résulte le spinner qui tourne en boucle en attendant la fin du timeout ce qui rend l’expérience utilisateur vraiment pas top. Tu saurais me dire quel dongle exact tu avais et celui par lequel tu l’as remplacé ?
J’ai celui-ci : SONOFF - Clé USB Zigbee 3.0 + antenne externe 20dBm (V2) ZBDongle-E (domadoo.fr)

@pierre-gilles j’ai nettoyé la base de données sans résultat. Tu saurais me guider dans le troubleshooting ?

Merci :pray:

Bonsoir @Philou
Bonne année à tous !!
Voici mon modèle de Dongle Zigbee


qui fonctionne depuis plusieurs mois sans aucun problème.
Par contre mes soucis de lenteur provenaient de mon NAS Synology DS218+ qui ramait avec Gladys, je n’ai pas trouvé la raison, même avec 8 Go de RAM.
Gladys est maintenant installé sur un mini PC Beelink BT3 Pro, c’est une véritable horloge suisse : aucun plantage ou latence.

Je crois que j’avais la version 1.3

1 « J'aime »

Merci de ton retour,
C’est intéressant car j’utilise également un NAS Synology. C’est certes un modèle supérieur, 1621+, mais ça reste l’architecture Synology derrière.
Ça pourrait être intéressant à troubleshooter car s’il y a un problème de compatibilité quelconque avec ces NAS ce serait bien de le savoir.
Merci en tout cas !

Gladys tourne depuis 1 an ou olus sur mon 920+ et pas de soucis de ce genre.
J’en avait avant le fix sur ffmpeg de gladys (instance jamais close).
Tout vas bien dessus

1 « J'aime »

Tu as des appareils Zigbee un peut trop verbose peut-être ? Tu as un Lixee TIC ?

Certains appareils Zigbee spamme carrément le réseau et ça bouchonne côté Gladys. Souvent, l’interval de publication des valeurs est réglable côté Zigbee2mqtt, ça vaut le coup d’aller jeter un oeil :slight_smile:

En types déquipements Zigbee :
SNZB-04
Xiaomi WSDCGQ11LM control via MQTT | Zigbee2MQTT
NAS-AB02B2
S26R2ZB
Mon Dongle
image

C’est ici que l’on modifie les intervalles ? Dans Rapport ?

Je viens de remarquer ça
image

On en parle ici:
https://community.gladysassistant.com/t/zigbee2mqtt-1-35-erreur-affichage-devices

1 « J'aime »

Au top, merci :+1:
J’ai fait une recherche sur « Gladys n’est pas accessible » et je n’avais pas trouvé …

1 « J'aime »

Aucun des appareils que tu n’as listé n’a de paramètres d’interval donc ça ne s’applique pas à toi :slight_smile:

Est-ce que quelqu’un aurait la ou les commandes pour déclencher les aggrégations ?
J’ai pris le parti de repartir d’une fresh install et d’ajouter mes équipements / scènes petit à petit mais attendre la tâche automatique à chaque fois rend le processus interminable :sweat_smile:
image

Je crois que redémarrer le docker (donc docker restart gladys) déclenche une nouvelle aggregation horaire. Pour les autres, je ne sais pas

1 « J'aime »