Gladys Assistant 4.79: KI noch schlauer, verbesserte Sprachassistentin und mehr Matter-Geräte

Hallo zusammen,

Die Version v4.79 von Gladys ist da :slight_smile:

:robot: Künstliche Intelligenz

Diese Version bringt mehrere Verbesserungen für den KI-Agenten:

  • Szenen erstellen: Schema korrigiert + Timeout verlängert, um einen Fehler beim Erstellen von Szenen zu beheben, der von @GBoulvin und @Jluc gemeldet wurde.
  • Bessere Fehlerbehandlung: Klarere Rückmeldungen, wenn die KI nicht antwortet.
  • Tool-Aufrufe über Telegram: Über Telegram sieht man nun die Tool-Aufrufe wie im Web

  • Neue Tools:
    • Web Request: Der Agent kann APIs oder Webseiten abfragen. Das ist ein persönliches Bedürfnis, das ich umgesetzt habe, und es ist ultra praktisch!
    • Compare Times: Zeitvergleiche

Diese neuen Tools ermöglichen sehr leistungsfähige Anwendungen, z. B. die Öffnungszeiten eines Geschäfts abzufragen und Ihnen mitzuteilen, ob das Geschäft gerade geöffnet ist! Super praktisch in Szenen über die Aktion „KI fragen“.

Die Möglichkeiten sind endlos!


:studio_microphone: Sprachassistent

  • Stopp-Button, um eine laufende Antwort zu unterbrechen.
  • Mikrofon-Erkennung: Wenn kein Ton aufgezeichnet wurde, zeigt Gladys eine Fehlermeldung an.

:house: Matter

Erweiterte Unterstützung für neue Gerätetypen:

  • Staubsauger
  • NO₂-Sensoren (Stickstoffdioxid-Index)
  • Ventilatoren

:satellite_antenna: Zigbee2mqtt

  • Update auf Zigbee2mqtt 2.12.0
  • Unterstützung für die SONOFF SNZB-01M-Fernbedienung (4 Tasten)

:wrench: Node-RED

  • Versionsauswahl, um direkt über die Gladys-Oberfläche zu einer neuen Hauptversion von Node-RED zu wechseln.

Praktisch, um auf die gerade erschienene Version 5 zu wechseln!

:warning: Achtung, überprüfen Sie, ob die Module, die Sie verwenden, mit Version 5 kompatibel sind!


:clapper_board: Szenen

  • Erweiterte Wertfelder für Sensorschwellenwerte
  • Zurück-Button, um einfacher im Szeneneditor zu navigieren.

:cloud: Gladys Plus

  • Wenn ein Fernbenutzer auf Gladys Plus gelöscht wird, wird der entsprechende lokale Benutzer automatisch auf Ihrer Instanz gelöscht.

:clipboard: Vollständiger Changelog

Wie immer wird das Update automatisch innerhalb von 24 Stunden durchgeführt, wenn Sie Watchtower verwenden, oder Sie können es manuell durchführen, indem Sie zu „Einstellungen“ → „System“ gehen.

Viel Spaß beim Updaten! :tada:

Kleiner Test via Telegram und da gibt es ein Problem, scheint so :thinking:
IMG_0389
Und die KI erstellt eine Szene, ohne dass ich sie darum bitte, das finde ich mehr als fragwürdig :face_with_steam_from_nose:

EDIT: am Ende wurde keine Szene erstellt

Danke für das Feedback! Ich werde versuchen, es nachzustellen. Manchmal erkennt die KI nicht die Notwendigkeit, die verfügbaren Tools zu nutzen. Ich denke, dass der Begriff „Pumpe“ nicht zum Wortschatz der Dinge gehört, die man an- oder ausschaltet, wie zum Beispiel das Licht. Das könnte eine Rolle spielen :grinning_face_with_smiling_eyes:

Die KI funktionierte sehr gut in 4.78:


Aber heute Abend, bevor ich auf 4.79 umgestellt habe, hat die KI seltsame Dinge gemacht und es hat nicht mehr funktioniert, obwohl ich sie um 13 Uhr ohne Probleme starten konnte und ohne Debug-Logs:

Da gibt es heute aber komische Sachen mit den Antworten der KI oder meine Frage war nicht klar :flushed_face:

Ich glaube nicht, dass das mit der 4.79 zusammenhängt, ich habe auch Änderungen auf der Gladys Plus-Serverseite vorgenommen!

Früher habe ich ausschließlich Gemma 4 als Modell verwendet, und jetzt verwende ich eine Mischung aus Gemma 4 für die Bildanalyse und Mistral Small 3.2 für den Text.

Der Grund ist, dass Gemma 4 stark halluziniert, mehr als Mistral, aber Mistral ist weniger gut in der Bildanalyse.

Ich denke, ich werde Tests mit anderen Modellen durchführen müssen, um ein vielseitigeres Modell zu finden :slightly_smiling_face:

Ich muss mir einen Datensatz mit Beispielen erstellen, um meine Tests durchzuführen und die Leistung eines Modells im Fall von Gladys zu bewerten.

Zu deinen Rückmeldungen zu Matter habe ich leider keine Antwort :slightly_smiling_face: Ich sage dir Bescheid, wenn ich es mir angeschaut habe!

Vielen Dank @mutmut und @Nagromdark für euer Feedback zur Matter-Integration. Könnte einer von euch mir die Logs von Gladys nach dem Klicken auf „Aktualisieren“ (einfach herunterladbar unter „Einstellungen“ → „Systeme“) geben?

Hallo @Nagromdark, das scheint von Zigbee2mqtt zu kommen, ich habe die KI gebeten, zu untersuchen, und:

Ab Zigbee2MQTT 2.11.0 wurde ein Rückschritt in den Tuya-Konvertern für Wassertank-Füllstandssensoren (ME201WZ, ME202WZ, 872WZ, etc.) eingeführt:

  • Die Einheiten wurden zwischen mm, cm und m vermischt
  • Die Parameter installation_height und liquid_depth_max haben ihre Einheit geändert, ohne dass die Werte korrekt umgerechnet wurden
  • Einige Nutzer sahen abnormale Werte (z. B. ~10 m statt ~1 m)
  • Mehrere bestätigten, dass die Rückkehr zu 2.10.1 das Problem behebt

Offene Issues:

Ein Fix wurde am 13. Juni 2026 in zigbee-herdsman-converters (#12424) gemerged: alle Messungen werden in Metern angezeigt, mit einer modellabhängigen Skalierung. Dieser Fix ist nicht in 2.12.0 (veröffentlicht am 9. Juni) — er wird in einer zukünftigen Version (wahrscheinlich 2.13.0) enthalten sein.

Wir müssen auf die nächste Version von Zigbee2mqtt warten, um den Fix zu erhalten :slight_smile:

Um das Debugging des KI-Agenten zu erleichtern, werde ich einen Button in der Künstliche-Intelligenz-Integration hinzufügen, mit dem der gesamte an den Agenten gesendete Kontext sowie die letzten 10 Nachrichten des Gesprächs heruntergeladen werden können.

LLMs sind von Natur aus „Black Boxes“, und es ist oft schwierig, die von den Nutzern gemeldeten inkonsistenten Verhaltensweisen zu reproduzieren. Die Antworten hängen stark vom Kontext jedes Hauses, den verbundenen Geräten, den konfigurierten Szenarien usw. ab. Zwei Nutzer können daher mit derselben Anfrage sehr unterschiedliche Ergebnisse erhalten.

@mutmut, das wird mir insbesondere die Analyse der Probleme, die du erlebst, erleichtern. Ohne Zugriff auf den genauen Kontext, der an das Modell gesendet wurde, ist es ziemlich kompliziert zu verstehen, was passiert :grinning_face_with_smiling_eyes:

Das wird in der nächsten Version von Gladys verfügbar sein!