[LAUFT] Integration von Influxdb

Entwicklung
1

Ich bin mit dem Thema InfluxDB schon recht weit gekommen. Diejenigen mit vielen Features werden sich freuen, ihre Daten über mehrere Jahre hinweg historisieren zu können.

Die in InfluxDB gepushten Datentypen sind:

  • Dezimal
  • Ganzzahl
  • Binär

Ich werde bald auf meine Produktion pushen, um zu sehen, wie sich das in puncto Performance verhält. Ich komme bald auf euch zurück, um zu testen.

In der Zwischenzeit ein paar Screenshots:

Gladys

Hier gibt es nicht viel zu sehen, man konfiguriert nur die Infos zu seinem InfluxDB-Server

image
image668×402 32.6 KB

image
image776×552 21.1 KB

Influxdb

Bei den Metadaten findet man:

  • Name der Feature
  • Raum
  • Typ

image
image1287×849 81.3 KB

2

Genial, danke für die Screenshots!

Wie funktioniert das, werden die Daten doppelt gespeichert?

Ich würde es sehr schätzen, wenn ich in InfluxDB Grafiken erstellen könnte, falls nötig, über mehrere Monate und mehrere Sensoren. In Gladys reichen mir die aggregierten Daten für die Dashboards (falls nötig) :blush:

3

Ja, es ist doppelt. Jeder Zustandswechsel wird in InfluxDB übertragen.

Man kann Gladys daher mit einer kurzen Retentionszeit (1 Monat) konfigurieren und für die langfristige Analyse ein Grafana-Dashboard erstellen.
Besonders interessant für Energiedaten

4

Könnten wir eine Option (oder Standard) zur Speicherung der aggregierten Werte in Gladys für die Zeiträume 24h, 7 Tage, 1 Monat und 1 Jahr hinzufügen?

Damit haben wir keine Dopplungen, aber wir behalten die Übersicht in Gladys.

5

Ich hab’s nicht verstanden @lmilcent :sweat_smile:

6

Ich beziehe mich auf die Verbesserungen, die wir mit @pierre-gilles besprochen haben.
Ich schlug vor, um die Datenbankgröße, also den Speicherplatz und die Geschwindigkeit zu optimieren, Folgendes zu tun:

  • 24 Stunden Rohdaten speichern
  • nur die aggregierten Werte der letzten 7 Tage speichern (etwa 100 Werte/Tag)
  • nur die aggregierten Werte des letzten Monats speichern
  • die aggregierten Werte des letzten Jahres speichern.

So speichert Gladys am Ende relativ wenig Daten und die Diagramme in den Dashboards sind funktionsfähig.

Und schließlich könnten wir für die Visualisierung und Speicherung aller Rohdaten die Integration von Influx DB vorschlagen, an der du arbeitest.

7

Stylé @VonOx! :slight_smile:

Ich bin immer noch mit dem einverstanden, was wir besprochen haben, aber für mich ist das ein anderes Thema, das hat nicht viel mit InfluxDB zu tun ^^

8

Haha, warte, du hast den Code noch nicht gesehen :eyes::grin:

9

Das ist in der Produktion auf meiner Instanz

image
image1853×479 111 KB

Ich lasse es so eine Weile laufen, ich muss die Tests und die Dokumentation schreiben…

10

Fast einen Monat, keine Probleme :slight_smile:

image
image1842×896 166 KB

image
image1849×385 73.9 KB

Ich lasse euch raten, wann ich in den Urlaub gefahren bin :stuck_out_tongue:

11

Wie sieht es mit der Datenbank aus? Entwickelt sich das wirklich x2-fach?

12

Db glücklich?

13

Du hast gesagt, dass man eine zweite DB für InfluxDB braucht. Deshalb meine Frage: Mit der Nutzung hast du also den benötigten Speicherplatz verdoppelt, oder?

Wie läuft das, wenn du ein Gerät in Glaydys löschst? Behältst du die Daten in InfluxDB oder werden die auch gelöscht?

14

Das ist gespeichert, aber es ist nicht die gleiche Technologie.

Bei InfluxDB erstellst du Buckets mit einer Retention. Du schiebst Time-Series-Daten in diese Buckets

Meine InfluxDB ist 300MB für 2 Monate Daten
Bei Gladys bin ich bei 4,5GB für 1 Monat Retention

15

Was schiebst du in deine InfluxDB, dass sie nur 300 MB groß ist?

Ansonsten ist es genau das, was ich mir erhofft hatte: Sensorendaten ohne Bezug zu Gladys bei der Gerätelöschung abfragen. Es ist komplizierter, wenn man wirklich alle Sensordaten löschen möchte, aber es ermöglicht, verschiedene Anforderungen und Situationen zu adressieren.

Ich freue mich auf die Beta-Version, damit ich sie testen kann :slight_smile:

16

Alle States :slight_smile:

17

Da gebe ich zu, ich verstehe nicht, wie das möglich ist.

2 Monate mit 300 MB für InfluxDB und 4,5 GB für 1 Monat in Gladys, was ist da der Trick?

18

Boah, ich habe nur die Zustände von Influx, Gladys habe ich alles (Aggregation, Standort)
Und die InfluxDB-Technologie, dafür ist sie gemacht!

19

Ich kann es kaum erwarten :slight_smile:

20

Ich verwende bereits ein Build auf meiner Prod vonox/gladys:influxdb (das ist Alpha).