Weil ich ein Echtzeitdiagramm der Scheinleistung (VA) ^^ ausgeben möchte.
Aber die Reduzierung auf ein Payload scheint das Speicherproblem nicht behoben zu haben.
Ich werde weiter recherchieren.
Könntest du trotzdem mal testen, ob du die Frequenz etwas reduzierst, nur um zu sehen, ob das das Problem ist? Alle paar Sekunden kommt mir sehr aggressiv vor! ^^
Es passiert viel, wenn ein Sensorwert empfangen wird, insbesondere überprüft Gladys, ob keine Szene ausgelöst werden muss. Bei der Anzahl der Werte, die du pro Payload alle paar Sekunden erhältst, wird es für Gladys sicherlich schwer.
Ich hatte übrigens dasselbe Problem in der Nacht von Samstag auf Sonntag um 3 Uhr morgens.
Ich hatte einen RAM-Verbrauchsspitzenwert bis zum Maximum und dann ist es abgestürzt.
Ich habe keine weiteren Details, aber wenn es wieder passiert, werde ich mich genauer damit beschäftigen.
Ich habe gerade auf 60 Sekunden umgestellt, um zu sehen, ob es besser ist.
Das Problem besteht weiterhin.
Es liegt also nicht an den Anfragen, die mein Linky-Modul durchführt.
Ich werde sehen, wie ich etwas tiefer in die Prozesse einsteigen kann.
Man muss schauen, ob du nicht ein anderes sehr aggressives Gerät hast?
Ich habe tatsächlich Bewegungsmelder, die recht häufig Berichte senden.
Ich werde schauen, um alles zu begrenzen, was häufig in den Logs erscheint.
Okay, ich habe mich tiefer in den Container-Speicher eingearbeitet.
Nach einigen Tagen des Reportings konnte ich feststellen, dass der Speicher durch DuckDB oder zumindest eine Anfrage an DuckDB gesättigt ist.
Ich habe ein Analyse-Skript für jede Node.js-DuckDB-Anfrage gestartet, um zu identifizieren, welche Anfrage an DuckDB das Problem verursacht.
Wahrscheinlich liegt das daran, dass meine Datenbank ziemlich groß ist.
Ich habe eine große Reinigung in den Metriken durchgeführt, die keinen historischen Bedarf hatten, um die Datenbank zu entlasten.
Seitdem scheint es viel stabiler zu sein, aber dadurch riskiere ich, nicht zu wissen, was das Problem vorher war ^^
Falls der Speicheranstieg nicht wieder auftritt, werde ich meine Datenbank vor der Reinigung wiederherstellen, um das Problem zu reproduzieren.
Es ist wahrscheinlich die Anfrage zur grafischen Darstellung. Falls du irgendwann deine Datenbank mit dem Problem hast, zögere nicht, sie zu exportieren und sie mir zu schicken, damit ich Tests damit durchführen kann!
Ja, ich warte darauf, dass das Problem mit dem großen Speicherpeak erneut auftritt.
Ich habe auch bemerkt, dass der Speicher während eines Gateway-Backups ansteigt (was völlig normal ist), aber dieser Speicher wird nach Beendigung des Backups nicht freigegeben.
Beispiel: Backup von heute Morgen:
2026-01-19T03:51:19+0100 <info> gateway.checkIfBackupNeeded.js:44 (Timeout._onTimeout) Starting backup!
2026-01-19T03:51:19+0100 <info> system.isDocker.js:13 (System.isDocker) System.isDocker: This system is running inside Docker.
2026-01-19T03:51:19+0100 <info> gateway.backup.js:55 (Gateway.backup) Gateway backup: Locking SQLite Database
2026-01-19T03:51:19+0100 <info> gateway.backup.js:60 () Backup attempt n°1 : Cleaning backup folder
2026-01-19T03:51:19+0100 <info> gateway.backup.js:64 () Starting Gateway backup in folder /var/lib/gladysassistant/backups/gladys-db-backup-2026-1-19-3-51-19.db
2026-01-19T03:51:19+0100 <info> gateway.backup.js:66 () Gateway backup: Unlocking Database
2026-01-19T03:51:19+0100 <info> gateway.backup.js:72 (Gateway.backup) Gateway backup : SQLite file size is 2mb.
2026-01-19T03:51:19+0100 <info> gateway.backup.js:73 (Gateway.backup) Gateway backup : Backing up DuckDB into a Parquet folder /var/lib/gladysassistant/backups/gladys-db-backup_2026-1-19-3-51-19_parquet_folder
2026-01-19T03:52:14+0100 <info> gateway.backup.js:82 (Gateway.backup) Gateway backup: Compressing backup
2026-01-19T03:52:42+0100 <info> gateway.backup.js:88 (Gateway.backup) Gateway backup: Encrypting backup
2026-01-19T03:52:43+0100 <info> gateway.backup.js:95 (Gateway.backup) Gateway backup: Uploading backup, size of encrypted backup = 443mb. Path = /var/lib/gladysassistant/backups/gladys-db-backup-2026-1-19-3-51-19.tar.gz.enc
2026-01-19T03:53:04+0100 <info> gateway.backup.js:139 (Gateway.backup) Gladys backup uploaded with success to Gladys Gateway.
Bist du sicher, dass du das Richtige misst? Wie misst du den Speicherverbrauch?
Oui oui, die Erhöhung erfolgt tatsächlich zum Zeitpunkt des Backups.
Ich wollte nur verstehen, wie du den RAM-Verbrauch konkret misst?
Je nach verwendeter Methode siehst du möglicherweise nicht, wie der RAM „freigegeben“ wird, nachdem das Backup durchgeführt wurde, und das ist unter Linux völlig normal.
Manche Tools zeigen den gesamten verwendeten RAM inklusive Cache und Puffern an, was den Eindruck erwecken kann, dass kein RAM freigegeben wird, obwohl der RAM tatsächlich freigegeben und sofort wiederverwendbar ist.
Beispiel bei mir:
Wichtig ist « available », nicht « free »!
Aber es könnte auch sein, dass es ein Problem mit der Speicherfreigabe gibt, deshalb würde die technische Details sehr helfen 
Ja, ich verstehe. Der Befehl, der meinen Graphen abruft:
free | grep 'Mem' | awk '{print ($3/$2)*100}'
Ich habe gerade den Test durchgeführt
Vor dem Backup:
5 Minuten nach dem Backup
Ich habe lokale Tests mit großen DuckDB-Datenbanken durchgeführt, und mir ist nichts aufgefallen, das mir ins Auge springt.
Allerdings kann die Realität vor Ort anders sein, daher habe ich einen speziellen Build erstellt, der der Produktionsversion Logs hinzufügt, um zu sehen, woher der RAM-Verbrauch kommt 
Mit diesem Build siehst du den RAM-Verbrauch von Node.js + DuckDB vor dem Backup, während des Backups und nach dem Backup!
Der Build ist unter dem unten stehenden Tag verfügbar, kannst du ihn testen?
Ich habe nur einen x64-Build erstellt, da du, soweit ich mich erinnere, einen Mini-PC verwendest?
(Kein arm64-Build, um Zeit zu sparen)
gladysassistant/gladys:add-memory-logs-during-backup
Wenn du möchtest, dass der Test so repräsentativ wie möglich ist, dann mache vor und während des Tests nichts an Gladys:
- Kein Öffnen des Dashboards
- Vermeide, dass der Test um 00:00 oder 00:30 stattfindet, um nicht auf die Berechnung der Energieverbräuche zu stoßen
Perfekt, ich habe gerade den Test durchgeführt und nach dem Start des Containers kein Dashboard geöffnet.
2026-01-19T15:16:11+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor dem Backup - RSS: 375,19 MB, Heap: 214,96/234,36 MB
2026-01-19T15:16:11+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor dem Backup - Gesamt: 3,50 MB
2026-01-19T15:16:11+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 0,75 MB
2026-01-19T15:16:11+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 2,75 MB
2026-01-19T15:16:11+0100 <info> system.isDocker.js:13 (System.isDocker) System.isDocker: Dieses System läuft in Docker.
2026-01-19T15:16:11+0100 <info> gateway.backup.js:79 (Gateway.backup) Gateway-Backup: SQLite-Datenbank wird gesperrt
2026-01-19T15:16:11+0100 <info> gateway.backup.js:84 () Backup-Versuch Nr. 1: Backup-Ordner wird bereinigt
2026-01-19T15:16:11+0100 <info> gateway.backup.js:88 () Gateway-Backup wird im Ordner /var/lib/gladysassistant/backups/gladys-db-backup-2026-1-19-15-16-11.db gestartet
2026-01-19T15:16:11+0100 <info> gateway.backup.js:90 () Gateway-Backup: Datenbank wird entsperrt
2026-01-19T15:16:11+0100 <info> gateway.backup.js:96 (Gateway.backup) Gateway-Backup: SQLite-Dateigröße beträgt 2 MB.
2026-01-19T15:16:11+0100 <info> gateway.backup.js:97 (Gateway.backup) Gateway-Backup: DuckDB wird in einen Parquet-Ordner /var/lib/gladysassistant/backups/gladys-db-backup_2026-1-19-15-16-11_parquet_folder gesichert
2026-01-19T15:17:06+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher nach Export der Datenbank in Parquet - RSS: 3574,57 MB, Heap: 212,67/227,86 MB
2026-01-19T15:17:08+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher nach Export der Datenbank in Parquet - Gesamt: 2153,00 MB
2026-01-19T15:17:08+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2150,25 MB
2026-01-19T15:17:08+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 2,75 MB
2026-01-19T15:17:08+0100 <info> gateway.backup.js:108 (Gateway.backup) Gateway-Backup: Backup wird komprimiert
2026-01-19T15:17:36+0100 <info> gateway.backup.js:114 (Gateway.backup) Gateway-Backup: Backup wird verschlüsselt
2026-01-19T15:17:37+0100 <info> gateway.backup.js:121 (Gateway.backup) Gateway-Backup: Backup wird hochgeladen, Größe des verschlüsselten Backups = 444 MB. Pfad = /var/lib/gladysassistant/backups/gladys-db-backup-2026-1-19-15-16-11.tar.gz.enc
2026-01-19T15:17:38+0100<info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor Upload-Chunk 0 - RSS: 2593.47 MB, Heap: 219.95/235.11 MB
2026-01-19T15:17:38+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor Upload-Chunk 0 - Gesamt: 2153.00 MB
2026-01-19T15:17:38+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2150.25 MB
2026-01-19T15:17:38+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 2.75 MB
2026-01-19T15:17:38+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor Upload-Chunk 1 - RSS: 2628.88 MB, Heap: 212.63/235.11 MB
2026-01-19T15:17:38+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor Upload-Chunk 1 - Gesamt: 2153.00 MB
2026-01-19T15:17:38+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2150.25 MB
2026-01-19T15:17:38+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 2.75 MB
2026-01-19T15:17:39+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor Upload-Chunk 2 - RSS: 2670.50 MB, Heap: 214.42/243.11 MB
2026-01-19T15:17:39+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor Upload-Chunk 2 - Gesamt: 2153.00 MB
2026-01-19T15:17:39+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2150.25 MB
2026-01-19T15:17:39+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 2.75 MB
2026-01-19T15:17:40+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor Upload-Chunk 3 - RSS: 2690.51 MB, Heap: 213.03/240.06 MB
2026-01-19T15:17:40+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor Upload-Chunk 3 - Gesamt: 2153.00 MB
2026-01-19T15:17:40+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2150.25 MB
2026-01-19T15:17:40+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 2.75 MB
2026-01-19T15:17:40+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor Upload-Chunk 4 - RSS: 2709.51 MB, Heap: 209.10/238.68 MB
2026-01-19T15:17:40+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor Upload-Chunk 4 - Gesamt: 2153.00 MB
2026-01-19T15:17:40+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2150.25 MB
2026-01-19T15:17:40+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 2.75 MB
2026-01-19T15:17:41+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor Upload-Chunk 5 - RSS: 2687.46 MB, Heap: 210.02/238.68 MB
2026-01-19T15:17:41+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor Upload-Chunk 5 - Gesamt: 2153.00 MB
2026-01-19T15:17:41+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2150.25 MB
2026-01-19T15:17:41+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 2.75 MB
2026-01-19T15:17:42+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor Upload-Chunk 6 - RSS: 2647.46 MB, Heap: 207.48/238.18 MB
2026-01-19T15:17:42+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor Upload-Chunk 6 - Gesamt: 2153.00 MB
2026-01-19T15:17:42+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2150.25 MB
2026-01-19T15:17:42+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 2.75 MB
2026-01-19T15:17:43+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor Upload-Chunk 7 - RSS: 2687.43 MB, Heap: 208.42/238.18 MB
2026-01-19T15:17:43+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor Upload-Chunk 7 - Gesamt: 2153.00 MB
2026-01-19T15:17:43+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2150.25 MB
2026-01-19T15:17:43+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 2.75 MB
2026-01-19T15:17:43+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor Upload-Chunk 8 - RSS: 2667.42 MB, Heap: 208.20/237.68 MB
2026-01-19T15:17:43+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor Upload-Chunk 8 - Gesamt: 2153.00 MB
2026-01-19T15:17:43+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2150.25 MB
2026-01-19T15:17:43+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 2.75 MB
2026-01-19T15:17:44+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor Upload-Chunk 9 - RSS: 2689.67 MB, Heap: 211.95/237.68 MB
2026-01-19T15:17:44+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor Upload-Chunk 9 - Gesamt: 2153.00 MB
2026-01-19T15:17:44+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2150.25 MB
2026-01-19T15:17:44+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 2.75 MB
2026-01-19T15:17:45+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor Upload-Chunk 10 - RSS: 2672.50 MB, Heap: 212.04/237.93 MB
2026-01-19T15:17:45+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor Upload-Chunk 10 - Gesamt: 2153.00 MB
2026-01-19T15:17:45+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2150.25 MB
2026-01-19T15:17:45+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 2.75 MB
2026-01-19T15:17:46+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor Upload-Chunk 11 - RSS: 2691.79 MB, Heap: 212.97/237.93 MB
2026-01-19T15:17:46+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor Upload-Chunk 11 - Gesamt: 2153.00 MB
2026-01-19T15:17:46+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2150.25 MB
2026-01-19T15:17:46+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 2.75 MB
2026-01-19T15:17:47+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor Upload-Chunk 12 - RSS: 2672.31 MB, Heap: 207.55/238.18 MB
2026-01-19T15:17:47+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor Upload-Chunk 12 - Gesamt: 2153.00 MB
2026-01-19T15:17:47+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2150.25 MB
2026-01-19T15:17:47+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 2.75 MB
2026-01-19T15:17:48+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor Upload-Chunk 13 - RSS: 2692.31 MB, Heap: 208.69/238.18 MB
2026-01-19T15:17:48+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor Upload-Chunk 13 - Gesamt: 2153.00 MB
2026-01-19T15:17:48+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2150.25 MB
2026-01-19T15:17:48+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 2.75 MB
2026-01-19T15:17:49+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor Upload-Chunk 14 - RSS: 2652.46 MB, Heap: 207.80/238.18 MB
2026-01-19T15:17:49+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor Upload-Chunk 14 - Gesamt: 2153.00 MB
2026-01-19T15:17:49+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2150.25 MB
2026-01-19T15:17:49+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 2.75 MB
2026-01-19T15:17:50+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor Upload-Chunk 15 - RSS: 2692.34 MB, Heap: 209.17/238.18 MB
2026-01-19T15:17:50+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor Upload-Chunk 15 - Gesamt: 2153.00 MB
2026-01-19T15:17:50+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2150.25 MB
2026-01-19T15:17:50+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 2.75 MB
2026-01-19T15:17:51+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor Upload-Chunk 16 - RSS: 2672.25 MB, Heap: 207.72/238.43 MB
2026-01-19T15:17:51+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor Upload-Chunk 16 - Gesamt: 2153.00 MB
2026-01-19T15:17:51+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2150.25 MB
2026-01-19T15:17:51+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 2.75 MB
2026-01-19T15:17:52+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor Upload-Chunk 17 - RSS: 2694.63 MB, Heap: 208.52/238.43 MB
2026-01-19T15:17:52+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor Upload-Chunk 17 - Gesamt: 2153.00 MB
2026-01-19T15:17:52+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2150.25 MB
2026-01-19T15:17:52+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 2.75 MB
2026-01-19T15:17:53+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor Upload-Chunk 18 - RSS: 2653.39 MB, Heap: 209.55/238.43 MB
2026-01-19T15:17:53+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor Upload-Chunk 18 - Gesamt: 2153.00 MB
2026-01-19T15:17:53+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2150.25 MB
2026-01-19T15:17:53+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 2.75 MB
2026-01-19T15:17:54+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor Upload-Chunk 19 - RSS: 2693.16 MB, Heap: 210.79/238.43 MB
2026-01-19T15:17:54+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor Upload-Chunk 19 - Gesamt: 2153.00 MB
2026-01-19T15:17:54+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2150.25 MB
2026-01-19T15:17:54+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 2.75 MB
2026-01-19T15:17:55+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor Upload-Chunk 20 - RSS: 2673.18 MB, Heap: 208.21/237.93 MB
2026-01-19T15:17:55+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor Upload-Chunk 20 - Gesamt: 2153.00 MB
2026-01-19T15:17:55+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2150.25 MB
2026-01-19T15:17:55+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 2.75 MB
2026-01-19T15:17:56+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor Upload-Chunk 21 - RSS: 2694.30 MB, Heap: 210.80/237.93 MB
2026-01-19T15:17:56+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor Upload-Chunk 21 - Gesamt: 2153.00 MB
2026-01-19T15:17:56+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2150.25 MB
2026-01-19T15:17:56+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 2.75 MB
2026-01-19T15:17:57+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor Upload-Chunk 22 - RSS: 2654.76 MB, Heap: 213.88/238.18 MB
2026-01-19T15:17:57+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor Upload-Chunk 22 - Gesamt: 2153.00 MB
2026-01-19T15:17:57+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2150.25 MB
2026-01-19T15:17:57+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 2.75 MB
2026-01-19T15:17:58+0100 <info> gateway.backup.js:167 (Gateway.backup) Gladys-Backup erfolgreich zu Gladys Gateway hochgeladen.
2026-01-19T15:17:58+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher nach Upload - RSS: 2678.62 MB, Heap: 210.48/238.18 MB
2026-01-19T15:17:58+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher nach Upload - Gesamt: 2153.00 MB
2026-01-19T15:17:58+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2150.25 MB
2026-01-19T15:17:58+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 2.75 MB
Vielen Dank für die Logs, das hilft sehr.
Das Problem liegt bei DuckDB, nicht bei Node.js.
Ich habe eine Idee, ich werde nach dem Export ein CHECKPOINT für DuckDB hinzufügen.
Ich habe gerade einen Build mit demselben Tag neu gestartet. Sobald es fertig ist, gebe ich dir Bescheid, damit du es testen kannst!
Der Build ist auf dem gleichen Tag fertig!
2026-01-19T15:32:12+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor dem Backup - RSS: 421.17 MB, Heap: 240.86/276.61 MB
2026-01-19T15:32:12+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor dem Backup - Gesamt: 3.50 MB
2026-01-19T15:32:12+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 0.75 MB
2026-01-19T15:32:12+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 2.75 MB
2026-01-19T15:32:12+0100 <info> system.isDocker.js:13 (System.isDocker) System.isDocker: Dieses System läuft in Docker.
2026-01-19T15:32:12+0100 <info> gateway.backup.js:79 (Gateway.backup) Gateway-Backup: SQLite-Datenbank sperren
2026-01-19T15:32:12+0100 <info> gateway.backup.js:84 () Backup-Versuch Nr. 1: Backup-Ordner bereinigen
2026-01-19T15:32:12+0100 <info> gateway.backup.js:88 () Starte Gateway-Backup im Ordner /var/lib/gladysassistant/backups/gladys-db-backup-2026-1-19-15-32-12.db
2026-01-19T15:32:12+0100 <info> gateway.backup.js:90 () Gateway-Backup: Datenbank entsperren
2026-01-19T15:32:12+0100 <info> gateway.backup.js:96 (Gateway.backup) Gateway-Backup: SQLite-Dateigröße beträgt 2 MB.
2026-01-19T15:32:12+0100 <info> gateway.backup.js:97 (Gateway.backup) Gateway-Backup: Sichern von DuckDB in einen Parquet-Ordner /var/lib/gladysassistant/backups/gladys-db-backup_2026-1-19-15-32-12_parquet_folder
2026-01-19T15:33:07+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher nach Export der Datenbank in Parquet - RSS: 3457.38 MB, Heap: 209.81/233.86 MB
2026-01-19T15:33:09+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher nach Export der Datenbank in Parquet - Gesamt: 2154.00 MB
2026-01-19T15:33:09+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2151.25 MB
2026-01-19T15:33:09+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 2.75 MB
2026-01-19T15:33:09+0100 <info> gateway.backup.js:108 (Gateway.backup) Gateway-Backup: DuckDB-Checkpoint erzwingen, um Speicher freizugeben
2026-01-19T15:33:11+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher nach dem Checkpoint - RSS: 2895.04 MB, Heap: 211.72/236.86 MB
2026-01-19T15:33:11+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher nach dem Checkpoint - Gesamt: 2205.25 MB
2026-01-19T15:33:11+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2203.75 MB
2026-01-19T15:33:11+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 1.50 MB
2026-01-19T15:33:11+0100 <info> gateway.backup.js:112 (Gateway.backup) Gateway-Backup: Backup komprimieren
2026-01-19T15:33:38+0100 <info> gateway.backup.js:118 (Gateway.backup) Gateway-Backup: Backup verschlüsseln
2026-01-19T15:33:40+0100 <info> gateway.backup.js:125 (Gateway.backup) Gateway-Backup: Backup hochladen, Größe des verschlüsselten Backups = 444 MB. Pfad = /var/lib/gladysassistant/backups/gladys-db-backup-2026-1-19-15-32-12.tar.gz.enc
2026-01-19T15:33:41+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor dem Hochladen von Chunk 0 - RSS: 2650,89 MB, Heap: 216,82/244,06 MB
2026-01-19T15:33:41+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor dem Hochladen von Chunk 0 - Gesamt: 2205,25 MB
2026-01-19T15:33:41+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2203,75 MB
2026-01-19T15:33:41+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 1,50 MB
2026-01-19T15:33:44+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor dem Hochladen von Chunk 1 - RSS: 2670,77 MB, Heap: 211,36/243,68 MB
2026-01-19T15:33:44+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor dem Hochladen von Chunk 1 - Gesamt: 2205,25 MB
2026-01-19T15:33:44+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2203,75 MB
2026-01-19T15:33:44+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 1,50 MB
2026-01-19T15:33:46+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor dem Hochladen von Chunk 2 - RSS: 2690,89 MB, Heap: 211,13/243,93 MB
2026-01-19T15:33:46+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor dem Hochladen von Chunk 2 - Gesamt: 2205,25 MB
2026-01-19T15:33:46+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2203,75 MB
2026-01-19T15:33:46+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 1,50 MB
2026-01-19T15:33:47+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor dem Hochladen von Chunk 3 - RSS: 2730,59 MB, Heap: 207,60/244,18 MB
2026-01-19T15:33:47+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor dem Hochladen von Chunk 3 - Gesamt: 2205,25 MB
2026-01-19T15:33:47+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2203,75 MB
2026-01-19T15:33:47+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 1,50 MB
2026-01-19T15:33:47+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor dem Hochladen von Chunk 4 - RSS: 2750,83 MB, Heap: 209,09/244,18 MB
2026-01-19T15:33:47+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor dem Hochladen von Chunk 4 - Gesamt: 2205,25 MB
2026-01-19T15:33:47+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2203,75 MB
2026-01-19T15:33:47+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 1,50 MB
2026-01-19T15:33:48+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor dem Hochladen von Chunk 5 - RSS: 2730,72 MB, Heap: 207,56/244,18 MB
2026-01-19T15:33:48+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor dem Hochladen von Chunk 5 - Gesamt: 2205,25 MB
2026-01-19T15:33:48+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2203,75 MB
2026-01-19T15:33:48+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 1,50 MB
2026-01-19T15:33:49+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor dem Hochladen von Chunk 6 - RSS: 2751,00 MB, Heap: 211,59/244,18 MB
2026-01-19T15:33:49+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor dem Hochladen von Chunk 6 - Gesamt: 2205,25 MB
2026-01-19T15:33:49+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2203,75 MB
2026-01-19T15:33:49+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 1,50 MB
2026-01-19T15:33:50+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor dem Hochladen von Chunk 7 - RSS: 2712,23 MB, Heap: 210,08/244,18 MB
2026-01-19T15:33:50+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor dem Hochladen von Chunk 7 - Gesamt: 2205,25 MB
2026-01-19T15:33:50+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2203,75 MB
2026-01-19T15:33:50+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 1,50 MB
2026-01-19T15:33:50+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor dem Hochladen von Chunk 8 - RSS: 2751,04 MB, Heap: 211,45/244,18 MB
2026-01-19T15:33:50+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor dem Hochladen von Chunk 8 - Gesamt: 2205,25 MB
2026-01-19T15:33:50+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2203,75 MB
2026-01-19T15:33:50+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 1,50 MB
2026-01-19T15:33:51+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor dem Hochladen von Chunk 9 - RSS: 2731,21 MB, Heap: 207,65/244,18 MB
2026-01-19T15:33:51+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor dem Hochladen von Chunk 9 - Gesamt: 2205,25 MB
2026-01-19T15:33:51+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2203,75 MB
2026-01-19T15:33:51+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 1,50 MB
2026-01-19T15:33:52+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor dem Hochladen von Chunk 10 - RSS: 2751,28 MB, Heap: 209,11/244,18 MB
2026-01-19T15:33:52+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor dem Hochladen von Chunk 10 - Gesamt: 2205,25 MB
2026-01-19T15:33:52+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2203,75 MB
2026-01-19T15:33:52+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 1,50 MB
2026-01-19T15:33:53+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor dem Hochladen von Chunk 11 - RSS: 2733,05 MB, Heap: 209,46/259,93 MB
2026-01-19T15:33:53+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor dem Hochladen von Chunk 11 - Gesamt: 2205,25 MB
2026-01-19T15:33:53+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2203,75 MB
2026-01-19T15:33:53+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 1,50 MB
2026-01-19T15:33:54+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor dem Hochladen von Chunk 12 - RSS: 2751,96 MB, Heap: 210,97/259,93 MB
2026-01-19T15:33:54+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor dem Hochladen von Chunk 12 - Gesamt: 2205,25 MB
2026-01-19T15:33:54+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2203,75 MB
2026-01-19T15:33:54+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 1,50 MB
2026-01-19T15:33:56+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor dem Hochladen von Chunk 13 - RSS: 2773,28 MB, Heap: 213,34/260,18 MB
2026-01-19T15:33:56+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor dem Hochladen von Chunk 13 - Gesamt: 2205,25 MB
2026-01-19T15:33:56+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2203,75 MB
2026-01-19T15:33:56+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 1,50 MB
2026-01-19T15:33:57+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor dem Hochladen von Chunk 14 - RSS: 2751,95 MB, Heap: 214,58/260,18 MB
2026-01-19T15:33:57+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor dem Hochladen von Chunk 14 - Gesamt: 2205,25 MB
2026-01-19T15:33:57+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2203,75 MB
2026-01-19T15:33:57+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 1,50 MB
2026-01-19T15:33:58+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor dem Hochladen von Chunk 15 - RSS: 2732,84 MB, Heap: 209,05/260,43 MB
2026-01-19T15:33:58+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor dem Hochladen von Chunk 15 - Gesamt: 2205,25 MB
2026-01-19T15:33:58+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2203,75 MB
2026-01-19T15:33:58+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 1,50 MB
2026-01-19T15:33:59+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor dem Hochladen von Chunk 16 - RSS: 2751,91 MB, Heap: 210,49/260,43 MB
2026-01-19T15:33:59+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor dem Hochladen von Chunk 16 - Gesamt: 2205,25 MB
2026-01-19T15:33:59+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2203,75 MB
2026-01-19T15:33:59+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 1,50 MB
2026-01-19T15:34:00+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor dem Hochladen von Chunk 17 - RSS: 2732,95 MB, Heap: 209,07/260,43 MB
2026-01-19T15:34:00+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor dem Hochladen von Chunk 17 - Gesamt: 2205,25 MB
2026-01-19T15:34:00+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2203,75 MB
2026-01-19T15:34:00+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 1,50 MB
2026-01-19T15:34:02+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor dem Hochladen von Chunk 18 - RSS: 2714,02 MB, Heap: 210.83/259.93 MB
2026-01-19T15:34:02+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor Upload-Chunk 18 - Gesamt: 2205.25 MB
2026-01-19T15:34:02+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2203.75 MB
2026-01-19T15:34:02+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 1.50 MB
2026-01-19T15:34:03+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor Upload-Chunk 19 - RSS: 2752.82 MB, Heap: 212.62/259.93 MB
2026-01-19T15:34:03+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor Upload-Chunk 19 - Gesamt: 2205.25 MB
2026-01-19T15:34:03+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2203.75 MB
2026-01-19T15:34:03+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 1.50 MB
2026-01-19T15:34:04+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor Upload-Chunk 20 - RSS: 2732.86 MB, Heap: 207.55/259.93 MB
2026-01-19T15:34:04+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor Upload-Chunk 20 - Gesamt: 2205.25 MB
2026-01-19T15:34:04+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2203.75 MB
2026-01-19T15:34:04+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 1.50 MB
2026-01-19T15:34:05+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor Upload-Chunk 21 - RSS: 2715.16 MB, Heap: 207.26/260.18 MB
2026-01-19T15:34:05+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor Upload-Chunk 21 - Gesamt: 2205.25 MB
2026-01-19T15:34:05+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2203.75 MB
2026-01-19T15:34:05+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 1.50 MB
2026-01-19T15:34:07+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher vor Upload-Chunk 22 - RSS: 2755.16 MB, Heap: 210.93/260.18 MB
2026-01-19T15:34:07+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher vor Upload-Chunk 22 - Gesamt: 2205.25 MB
2026-01-19T15:34:07+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2203.75 MB
2026-01-19T15:34:07+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 1.50 MB
2026-01-19T15:34:07+0100 <info> gateway.backup.js:171 (Gateway.backup) Gladys-Backup erfolgreich zu Gladys Gateway hochgeladen.
2026-01-19T15:34:07+0100 <info> gateway.backup.js:35 (logMemoryUsage) JS-Speicher nach Upload - RSS: 2759.53 MB, Heap: 211.51/260.43 MB
2026-01-19T15:34:07+0100 <info> gateway.backup.js:41 (logMemoryUsage) DuckDB-Speicher nach Upload - Gesamt: 2205.25 MB
2026-01-19T15:34:07+0100 <info> gateway.backup.js:46 () - BASE_TABLE: 2203.75 MB
2026-01-19T15:34:07+0100 <info> gateway.backup.js:46 () - IN_MEMORY_TABLE: 1.50 MB
Ok das hilft nicht 
Ich werde versuchen, eine spezielle Verbindung für das Backup zu erstellen