Gladys Assistant 4.82: Aktivitätsprotokoll & Überarbeitung der MQTT-Integration 🚀

Hallo zusammen,

Heute stelle ich etwas vor, das vorerst eine der größten Releases des Jahres ist, und es gibt einen echten Grund dafür.

Wir stehen eindeutig an einem Wendepunkt in der Art und Weise, wie wir entwickeln: KI-Modelle werden leistungsfähiger, und die Tools, um sie im Alltag zu nutzen, werden endlich ausgereift. In den letzten zwei Wochen haben zwei von ihnen meine Arbeitsweise bei Gladys verändert.

Claude Fable 5, das Flaggschiff-Modell von Anthropic, das vorübergehend in den USA eingeschränkt wurde, weil seine Fähigkeiten die Behörden beunruhigten. Es hat mir ermöglicht, sehr technische Themen anzugehen, die mich sonst ganze Tage gekostet hätten, und wichtige Funktionen wie das Aktivitätsprotokoll zu entwickeln, das ich weiter unten detailliert beschreibe.

Die Cloud-KI-Agenten von Cursor, die von mobilen Geräten aus steuerbar sind. Vor etwa zehn Tagen hat Cursor seine iOS-App gestartet: Man kann nun eine Entwicklungsaufgabe an einen Agenten von seinem Telefon aus delegieren und ihn selbstständig arbeiten lassen, ohne einen Computer.

Ich habe es spontan ausprobiert… und es hat sofort zu meinem Lebensrhythmus gepasst. Im Fitnessstudio, in den öffentlichen Verkehrsmitteln, im TGV, in den ruhigen Momenten des Tages: Ich starte Aufgaben, und sie laufen, während ich etwas anderes mache.

Das konkrete Ergebnis? Die vollständige Überarbeitung der MQTT-Integration, die vollständig von einem Cursor-Agenten durchgeführt wurde, während ich unterwegs war.

Ich sehe keine Möglichkeit zurück. Früher war es vor allem meine Freizeit, die die Ambition der Entwicklungen begrenzte. Heute delegiere ich komplexe Themen an Agenten, die autonom arbeiten, iterieren, bis das Ergebnis auf dem gewünschten Niveau ist, und sogar ohne meinen Computer weiterarbeiten.

Und das ist erst der Anfang: Ich kann bereits etwa hundert davon parallel starten, jeder an einer anderen Funktion. Es ist ein bisschen so, als würde man ein Team von 100 Entwicklern leiten.

Meine Intuition: Die nächsten sechs Monate könnten mehrere Jahre klassischer Entwicklung wert sein.

Ich zeige euch eine Demo von Cursor iOS hier auf YouTube.

Hier ist, was in nur wenigen Tagen daraus entstanden ist:


:house: Neue Aktivitätsseite: Der Live-Historie Ihres Zuhauses

Die Hauptfunktion dieses Releases: Ein neuer Tab Aktivität, der eine visuelle Zeitleiste von allem anzeigt, was in Ihrem Zuhause passiert: Türöffnungen, Bewegungsmeldungen, Ein- und Ausschaltungen, Sensorwerte usw.

Was diese Seite im Alltag nützlich macht:

  • Zeitleiste, gruppiert nach Tag („Heute“, „Gestern“, dann vollständige Daten) mit farbigen Icons nach Ereigniskategorie

  • Bündelung von Bursts: Aufeinanderfolgende Zustände desselben Sensors werden zu einer einzigen Zeile mit einem ×N-Badge zusammengefasst, das erweiterbar ist, um jeden einzelnen, zeitlich festgelegten Eintrag zu sehen. Unverzichtbar für Installationen mit 100–200 Geräten

  • Filter nach Kategorie (Öffnungen, Bewegung & Anwesenheit, Schalter, Beleuchtung, Klima, Sicherheit, Energie…), Raumauswahl und Gerätesuche

  • Echtzeit mit schwebendem „N neue Ereignisse“-Punkt, wenn Sie nach unten gescrollt haben

  • Unendliches Scrollen mit Pagination


:satellite_antenna: MQTT: Komplette Überarbeitung der Erfahrung mit virtuellen Geräten

Die MQTT-Integration profitiert von einer großen UX-Überarbeitung, inspiriert von den Rückmeldungen der Community (Forum):

  • Kompakte Liste der Geräte, gruppiert nach Raum
  • Katalog der Funktionen mit realistischem Dashboard-Vorschau und Suche
  • Automatische Generierung der externen IDs (mqtt:{slug}-{4chars}), die immer noch anpassbar sind
  • Kopieren-Button für MQTT-Identifikatoren/URLs

:robot: KI: Modellauswahl und verbesster Kontext

Ich setze die KI-Agenten in Gladys weiter ein, weil ich überzeugt bin, dass das die Zukunft der Smart-Home-Technik ist: Ihr Zuhause per Sprache oder Schrift steuern, jede Aktion ausführen, Sensoren abfragen.

Das Ziel ist ein zuverlässiger Agent im Alltag. Dafür brauche ich euch.

Dieses Release fügt einen KI-Modellauswahl-Button im Chat hinzu. Sie können die verschiedenen Scaleway-Modelle (Mistral, Llama, Qwen, Gemma…) testen und ihre Antworten in realen Situationen bei Ihnen zu Hause vergleichen. Ein Kostenindikator (€, €€, €€€) hilft Ihnen bei der Orientierung, bleibt aber vorerst indikativ: Gladys Assistant hat das Startup-Programm von Scaleway beigetreten und wir haben 1.000 € Guthaben für diese Experimente erhalten.

Sobald das beste Modell identifiziert ist, werde ich die Berechnung durchführen, um es dauerhaft in Gladys Plus zu integrieren, auf eine für das Projekt rentable Weise.

In der Zwischenzeit, testen Sie und teilen Sie Ihre Rückmeldungen im Forum!

Weitere Verbesserungen auf der KI-Seite:

  • Erweiterter Kontext: Werkzeugaufrufe und nicht relevante Nachrichten werden vom Kontext ausgeschlossen, um bessere Antworten zu erhalten
  • Korrektur des Aktionsschemas „Gerät ein-/ausschalten“
  • Erweitertes Debug-File (50 letzte Nachrichten)

:high_voltage: Tuya: Unterstützung für intelligente Zähler (Smart Meter)

  • Unterstützung für Tuya-Smart-Meter in der Cloud und lokal
  • Ablesung über die Thing Model shadow-API für Geräte ohne Legacy-Spezifikationen
  • Messungen: Gesamtleistung, aktive/reaktive Energie, Spannung, Strom
  • Saubere Anzeigenamen (die Tippfehler der Tuya-Codes werden nicht mehr in der UI angezeigt)
  • Testinfrastruktur mit Fixtures, um die Hinzufügung neuer Tuya-Geräte zu industrialisieren

:mobile_phone: Oberfläche & Dashboard

Widget Anzeige

Verbesserungen aufgrund der Rückmeldungen von @GBoulvin in diesem Thema.

  • Benutzerdefinierbarer Name, um mehrere Anzeigen desselben Geräts zu unterscheiden (z. B. zwei MQTT-Wassertanks)
  • Korrektur des blockierten Scrollens auf Mobilgeräten, wenn man einen Finger auf eine Anzeige legt

Allgemeine Mobilverbesserungen

Vielen Dank an @Will_71 für seine Arbeit hier.

  • Responsives Layout der Aktionsbuttons und Überschriften auf vielen Seiten (Integrationen, Einstellungen…)
  • Gestapelte Buttons auf Mobilgeräten, bessere Gruppierung von Button-Gruppen

:wrench: Integrationen & Korrekturen

Integration Änderung
Z-Wave JS Korrektur der Integration nach dem Update von ZWaveJS
Matter Update von matter.js 0.17.3 → 0.17.4 + README der Integration
Klimaanlage Korrektur: Der Klimaanlagenmodus wurde seit v4.79.0 als Lüftermodus angezeigt
iOS Der Dunkelmode wird nicht mehr beim Start der App überschrieben
Signal quality SVG-Signalqualitäts-Icons sind wieder in der Entwicklung sichtbar
Szenen Korrektur: Nachrichten mit Sonderzeichen verursachen keine Anzeigefehler mehr

:hammer_and_wrench: Technik (für Mitwirkende)

  • Migration des Frontends von preact-cli (webpack) zu Vite: Schnellere Entwicklungsstartzeit, verbessertes HMR, modernisierte Builds. Keine sichtbaren Änderungen für den Endbenutzer, aber eine gesündere technische Grundlage für die Zukunft. Migration durchgeführt von Fable 5, autonom.

  • Neues Feld supported_options in DeviceFeature: Integrationen können nun die unterstützten Modi/Werte einer Funktion deklarieren (z. B. Modi eines Staubsaugers)

  • Erweitete Entwicklerdokumentation (AGENTS.md)


:folded_hands: Dankeschön

Vielen Dank an @Terdious, @Will_71, @Sescandell und @bertrandda für ihre Beiträge sowie an die Community für das Feedback zu MQTT, dem Aktivitätsprotokoll und der mobilen UX.

Ein Wort auch an die Gladys Plus-Abonnenten: Dank euch kann ich die KI-Tools bezahlen, die all das möglich machen, und ihre Kosten steigen ständig. Mit der Beschleunigung des Entwicklungsrhythmus werde ich den KI-Budget des Projekts in den kommenden Monaten wahrscheinlich erhöhen müssen.

Wenn ihr Gladys noch schneller voranbringen wollt, ist Gladys Plus der beste Hebel. Neben der Unterstützung des Projekts schaltet ihr damit die erweiterten Funktionen frei: Backups, KI-Agent, Fernzugriff, Sprachassistenten, MCP-Integration, Enedis und vieles mehr.

Vielen Dank an alle und ein frohes Update!

Das vollständige Changelog findet ihr hier.

Ein großes Dankeschön an alle für diese neue Version, die voller Neuerungen steckt und Gutes für die Zukunft verspricht :smiley:.

Bisher habe ich nur ein Anzeigeproblem hier festgestellt:

Und wenn ich das Fenster verkleinere, kann ich nicht alle Auswahlelemente sehen:

Danke :slight_smile:

Hallo @prohand, die Liste ist horizontal scrollbar, also ist das ein normales Verhalten :slight_smile:

Die Scrollbalken sind ausgeblendet, weil das nicht sehr ästhetisch ist ^^

Hallo,

Ja, danke, auf dem Handy funktioniert es, aber am PC kann ich nicht scrollen :sweat_smile:

Nicht gerade ideal in der Nutzung, aber zum Notfall, wenn du den Text auswählen willst (klick ganz links, halte gedrückt und gehe nach rechts, das sollte scrollen :sweat_smile: :wink:)

Super Arbeit, danke. @alle Mitwirkenden.

Ich bin sehr froh, mich für Gladys entschieden zu haben, um anzufangen, denn ich merke, dass es sich sehr schnell weiterentwickelt, und das beruhigt mich.

Ich kann es kaum erwarten, an der Weiterentwicklung mitzuwirken, und ich lerne gerade, wie alles aufgebaut ist, aber das ist für einen Anfänger wie mich nicht so einfach.

Übrigens habe ich das gleiche Problem mit den Schaltflächen im Aktivitätsmenü, die nicht vollständig angezeigt werden, und ich kann auf dem Computer nicht scrollen (auf dem Handy funktioniert es jedoch).

eine andere Sache: Warum hat sich Gladys von alleine aktualisiert, ohne dass ich es verlangt habe?

Danke!! Ja, es geht bei Gladys schnell voran!

Okay, interessant, ich kann horizontal scrollen, aber ich bin auf einem Mac und mit einem Trackpad, ich weiß nicht, wie das auf Windows normalerweise funktioniert?

Gladys aktualisiert sich automatisch, es gibt etwa alle 24 Stunden eine Überprüfung :slight_smile:

Tatsächlich ist es nicht einfach, wenn du kein Pad wie auf einem Laptop hast. Ansonsten musst du so vorgehen, wie @Terdious es beschrieben hat, indem du gedrückt hältst und die Pfeiltasten der Tastatur verwendest.

Ich bestätige, es ist schneller, ich hatte es noch nicht getestet, aber ja, ich war überrascht, als ich den Frontend-Build gestartet habe.

Fantastisch, alles das! Was für eine Freude, so viele Verbesserungen in so kurzer Zeit zu sehen!

Danke!

Nur eine kleine Rückmeldung zur Präsentation. Es erscheint ein seltsamer Abstand auf der Seite der MQTT-Geräte:

Android, Chrome, lokal und GladysPlus

effektiv funktioniert es mit den Pfeiltasten rechts und links auf Windows-PCs, danke!

ah okay, und muss der Server nicht neu gestartet werden?

Nein, nicht nötig.
Wenn du einen Docker-Container aktualisieren möchtest, musst du ihn zuerst stoppen, dann löschen, das neue Image herunterladen und den Container neu erstellen. Technisch gesehen hat er also bereits neu gestartet, weil es ein neuer Container ist!
Hier erledigt Watchtower den Job und verwaltet das automatisch!

ok, deshalb ist Gladys gestern kurz ausgefallen, weil sie aktualisiert wurde

Während des Updates hast du keinen Zugriff mehr, also erscheint mir das normal.

Nicht ganz, tatsächlich wird während des Updates ein temporärer neuer Container erstellt, sodass die Unterbrechung der eines ersten Neustarts entspricht.

Sobald das Image bereit zum Starten ist, erfolgt ein zweiter Neustart. Wenn beim Start Migrationsskripte ausgeführt werden, kann dieser etwas länger dauern.

Hallo,

Das Aktivitätsprotokoll ist gut gemacht, aber ist es möglich, die Aufbewahrungsdauer des Historie durch eine Einstellung nach den individuellen Wünschen zu begrenzen?

Ist das der Systembereich Gerätezustandsverlauf speichern?

das ist richtig @JPPUYB, und du wählst, was dir am besten gefällt.
Achtung, wenn du es reduzierst, werden die alten Werte gelöscht und wenn du es wieder erhöhst, holst du sie nicht zurück.

Oh stimmt, daran habe ich gar nicht gedacht ^^ Aber vielleicht nicht (Test nötig ^^), muss mit den Fixes zusammenhängen, die ich hier gemacht habe: Purge des états : un bug de 2 ans corrigé + nettoyage automatique + page Tâches enrichie (PRs #2650, #2651, #2652) - #2 par guim31