Aggregationsfehler im Tab „Hintergrundaufgaben“

Im Tab « Hintergrundaufgaben » habe ich systematische Fehler bei der monatlichen, täglichen oder stündlichen Aggregation, hier ist der letzte Bericht:

Aggregation der Sensordaten monatlich

****vor 10 Minuten

Error: Error at Database. (/src/server/node_modules/sequelize/lib/dialects/sqlite/query.js:179:27) at /src/server/node_modules/sequelize/lib/dialects/sqlite/query.js:177:50 at new Promise () at Query.run (/src/server/node_modules/sequelize/lib/dialects/sqlite/query.js:177:12) at /src/server/node_modules/sequelize/lib/sequelize.js:314:28 at async SQLiteQueryInterface.bulkUpdate (/src/server/node_modules/sequelize/lib/dialects/abstract/query-interface.js:366:12) at async t_device_feature.update (/src/server/node_modules/sequelize/lib/model.js:1958:28) at async /src/server/lib/device/device.calculcateAggregateChildProcess.js:153:5 { name: ‹ SequelizeTimeoutError ›, parent: [Error: SQLITE_BUSY: Datenbank ist gesperrt] { errno: 5, code: ‹ SQLITE_BUSY ›, sql: ‹ UPDATE t_device_feature SET last_monthly_aggregate=$1,updated_at=$2 WHERE id = $3 › }, original: [Error: SQLITE_BUSY: Datenbank ist gesperrt] { errno: 5, code: ‹ SQLITE_BUSY ›, sql: ‹ UPDATE t_device_feature SET last_monthly_aggregate=$1,updated_at=$2 WHERE id = $3 › }, sql: ‹ UPDATE t_device_feature SET last_monthly_aggregate=$1,updated_at=$2 WHERE id = $3 ›, parameters: {} }

Ich stelle außerdem sehr häufig sehr hohe Latenzzeiten (mehrere Minuten oder mehr) fest, ist das vielleicht damit verbunden?

Gladys Plus läuft auf einem Synology DS218 NAS mit DSM7 und 10 GB RAM und verwendet regelmäßig praktisch 2 GB, was mir sehr viel erscheint!

Vielen Dank für Ihre Hilfe.

Hallo @jparbel!

Kannst du mir ein bisschen mehr über deine Installation erzählen?

  • Speicher: SSD, HDD?
  • Anzahl der verbundenen Geräte und mit welcher Technologie? (Zigbee, etc.)
  • Kameras, und wenn ja, mit welcher Auffrischungsfrequenz?

Der Fehler deutet darauf hin, dass deine Datenbank Probleme hat, mitzuhalten, und dass die Aggregation manchmal aufgrund von „Verfügbarkeit“ der Datenbankdatei scheitert.

Ich nehme an, du sprichst von Gladys (und nicht Gladys Plus)

Das hängt von deiner Installation ab! 2 GB können viel sein, aber das kann auch normal sein, wenn es eine große Installation gibt.

Was meinst du mit Latenzen?

Danke @pierre-gilles
Nein, ich spreche von meiner Gladys Plus-Installation, die jetzt seit etwa 4 Monaten auf meinem NAS läuft.
Ich habe hauptsächlich Zigbee-Geräte (etwa 10 bis 15) und eine Xiaomi-IP-Kamera, die ich vorläufig entfernt habe.
Ich habe auch virtuelle MQTT-Geräte + IFTTT-Webhooks.
Meine Datenbank ist etwa 1,2 GB groß, ich habe versucht, sie über die CLI zu bereinigen, wie du es @lmilcent in einem anderen Beitrag empfohlen hast, aber ohne Erfolg.
Mit Latenz meine ich die Antwortzeit beim Öffnen oder Wechseln der Seite.
Danke für deine Hilfe.

Kannst du mir alle Zigbee-Geräte auflisten, die du verwendest? Hast du zufällig einen Lixee TIC?

@pierre-gilles
Nein, ich verwende kein Lixee, ich habe mein eigenes Teleinfo-System, das nicht in Gladys integriert ist.
Hier ist die Liste meiner Zigbee-Geräte. Die beiden nicht unterstützten Geräte sind nicht in Gladys integriert


Eigentlich müsste man herausfinden, ob es bei dir ein Gerät gibt, das Gladys „spamt“ und zu viele Werte sendet, wodurch Gladys verlangsamt wird.

Ich sprach vom Lixee TIC, weil es ein Gerät ist, das dafür bekannt ist, Standard-Einstellungen zu haben, die etwas zu „aggressiv“ sind, und man muss sie reduzieren, sonst ist Gladys etwas überlastet.

Wenn du kannst, schau dir die Datenbank und die Sendehäufigkeit jedes Geräts an, das könnte uns helfen, es zu finden.

Wie viele Szenen hast du sonst noch?

@pierre-gilles Ich habe nur noch 3 Szenen, die wenig invasiv sind.
Ich habe bereits die umfangreichsten Integrationen (etwa zehn) aus meiner Datenbank gelöscht mit
DELETE FROM t_device_feature_state WHERE device_feature_id = ‹  ›; aber das hat nichts verbessert.
Falls du möchtest, kann ich dir meine Datenbank per PN schicken.

Das Löschen der Zustände wird in deinem Fall nichts ändern, du behebst nur die „Vergangenheit“, aber nicht die Zukunft :slight_smile: Wenn ein Gerät in der Vergangenheit spammt und du nichts änderst, wird es auch in Zukunft spammen!

Kannst du auch deine Integrationen überprüfen und sicherstellen, dass nur das absolute Minimum an Funktionen aktiviert ist:

Danach, sobald du aufgeräumt hast und alle Aufgaben „Gerätezustände bereinigen“ (im Tab „Hintergrundaufgaben“) abgeschlossen sind, starte eine Bereinigung:

Falls du möchtest, kann ich dir meine DB per PN schicken.

In diesem Zustand denke ich nicht, dass das hilfreich wäre (ich werde nichts sehen, da du alles gelöscht hast).

@pierre-gilles
Ich denke, ich habe mein Problem gelöst, indem ich einfach meinen Zigbee-Dongle ersetzt habe!
Mal sehen, wie es sich entwickelt!
Ich habe die Gelegenheit genutzt, um ein wenig aufzuräumen, und jetzt ist alles grün.
Nur zur Info, ich habe Sonoff-Geräte bei Domadoo bestellt.
Danke für deine Hilfe.

Hallo @jparbel,
Ich habe genau das gleiche Problem wie du, egal ob bei den stündlichen, täglichen oder monatlichen Aggregationen.
Dadurch dreht sich das Lade-Symbol in einer Endlosschleife, bis der Timeout erreicht ist, was die Benutzererfahrung wirklich nicht gut macht. Könntest du mir sagen, welches Dongle du genau hattest und durch welches du es ersetzt hast?
Ich habe diesen hier: SONOFF - USB-Zigbee-3.0-Dongle + externe Antenne 20dBm (V2) ZBDongle-E (domadoo.fr)

@pierre-gilles Ich habe die Datenbank bereinigt, ohne Erfolg. Könntest du mir beim Troubleshooting helfen?

Danke :folded_hands:

Guten Abend @Philou
Frohes neues Jahr an alle!!
Hier ist mein Zigbee-Dongle-Modell


Der funktioniert seit mehreren Monaten ohne Probleme.
Allerdings kamen meine Geschwindigkeitsprobleme von meinem Synology NAS DS218+, der mit Gladys langsam war. Ich habe den Grund nicht gefunden, selbst mit 8 GB RAM.
Gladys ist jetzt auf einem Mini-PC Beelink BT3 Pro installiert, das ist eine echte Schweizer Uhr: kein Absturz oder Verzögerung.

Ich glaube, ich hatte Version 1.3

Danke für dein Feedback,
Das ist interessant, weil ich auch einen Synology NAS verwende. Es ist zwar ein höheres Modell, ein 1621+, aber es bleibt die Synology-Architektur dahinter.
Es könnte interessant sein, das zu troubleshooten, denn wenn es ein Kompatibilitätsproblem mit diesen NAS gibt, wäre es gut, das zu wissen.
Danke auf jeden Fall!

Gladys läuft seit einem Jahr oder länger auf meinem 920+ und es gab keine Probleme dieser Art.
Ich hatte das Problem vor dem Fix von ffmpeg von Gladys (Instanz wurde nie geschlossen).
Alles läuft darauf einwandfrei

Hast du vielleicht ein paar zu gesprächige Zigbee-Geräte? Hast du einen Lixee TIC?

Manche Zigbee-Geräte spammen das Netzwerk richtiggehend voll und das verstopft dann bei Gladys. Oft ist das Publikationsintervall der Werte bei Zigbee2mqtt einstellbar, es lohnt sich, da mal einen Blick drauf zu werfen :slight_smile:

Zu den Zigbee-Geräten:
SNZB-04
Xiaomi WSDCGQ11LM control via MQTT | Zigbee2MQTT
NAS-AB02B2
S26R2ZB
Mein Dongle
image

Hier werden die Intervalle geändert? In Bericht?

Ich habe das gerade bemerkt

Davon wird hier gesprochen:
https://community.gladysassistant.com/t/zigbee2mqtt-1-35-erreur-affichage-devices

Super, danke :+1:
Ich habe nach „Gladys ist nicht erreichbar“ gesucht und nichts gefunden …

Keines der Geräte, die du aufgelistet hast, hat Intervallparameter, also gilt das nicht für dich :slight_smile:

Hat jemand die Befehle, um die Aggregationen auszulösen?
Ich habe mich entschieden, mit einer frischen Installation zu beginnen und meine Geräte/Szenen nach und nach hinzuzufügen, aber das Warten auf die automatische Aufgabe macht den Prozess endlos :sweat_smile:

Ich glaube, dass ein Neustart von Docker (also docker restart gladys) eine neue stündliche Aggregation auslöst. Bei den anderen weiß ich es nicht.