Neue KI-Architektur: Gladys wird ein echter KI-Agent 🤖

[pierre-gilles]

Hallo zusammen,

Seit ich KI in Gladys integriert habe, war das Versprechen da, aber die Realität blieb begrenzt: Ihr stellt eine Frage, die KI antwortet. Eine Eingabe, eine Ausgabe. Kein Zwischenüberlegen, keine echte Autonomie.

Was ich euch heute ankündige, ändert das grundlegend!!

Gladys kann jetzt « nachdenken » bevor sie antwortet

Ihr kennt vielleicht Claude Code, den Entwicklungsagenten von Anthropic, der bei einem komplexen Problem zerlegt, iteriert, Werkzeuge nutzt, sich anpasst… bis er die Lösung findet. Genau dieses Modell habe ich auf Gladys angewendet.

Jetzt, wenn ihr Gladys eine Frage stellt, sucht sie nicht nur nach einer Antwort. Sie handelt. Sie kann mehrere Werkzeugaufrufe hintereinander ausführen, um ihr Ziel zu erreichen:

• Wie hoch ist der aktuelle CO2-Wert im Wohnzimmer?
• Schalte das Licht im Wohnzimmer ein und schalte den Ventilator aus
• Zeige mir meinen Energieverbrauch im letzten Monat
• Erstelle eine Szene, die mir jeden Morgen um 7 Uhr eine Nachricht mit dem CO2-Wert im Wohnzimmer, in der Küche und den Zuständen meiner Türen schickt.
• Erstelle eine Szene, die, wenn Bewegung in meiner Garage erkannt wird, der KI ein Foto meiner Kamera schickt und prüft, ob es mein roter Tesla Model 3 ist. Wenn ja, soll die KI nicht antworten, sonst soll die KI mich benachrichtigen, dass ein unbekanntes Auto da ist.

Anfragen, die früher mehrere manuelle Manipulationen erfordert hätten oder einfach nicht funktioniert hätten!

Diese Arbeit stützt sich teilweise auf den von @bertrandda entwickelten MCP-Server, den ich in dieser neuen Architektur integriert habe! Danke an ihn!

Eine überarbeitete Oberfläche für echte Benutzerfreundlichkeit

Ich habe die Gelegenheit genutzt, um das Chat-Interface komplett zu überarbeiten. Klarer, flüssiger, wirklich mobilfreundlich.

Jeder Werkzeugaufruf wird lesbar im Chat angezeigt, damit ihr versteht, was Gladys gerade tut, und damit ihr leicht diagnostizieren könnt, wenn etwas nicht wie erwartet läuft.

Telegram, Nextcloud Talk: funktioniert auch

Ihr nutzt Gladys mobil über Telegram oder Nextcloud Talk? Der verbesserte Agent ist auch auf diesen Kanälen verfügbar. Ihr habt also Zugang zu all dieser Leistung von eurem Telefon aus, ohne die Weboberfläche zu öffnen.

Probiert es jetzt aus, es ist kostenlos

Zuerst aktualisiert Gladys auf v4.76.0!

Dann benötigt ihr Gladys Plus. Und ich schenke euch 1 Monat kostenlosen Test ohne Kreditkarte

Jeder Account hat 3.000 Anfragen pro Monat + 500 Bildanalyse-Anfragen.

Das reicht völlig aus, um zu erkunden, was der Agent kann, und ich bin gespannt auf euer Feedback zu dem, was funktioniert, was überrascht, und was ihr als nächstes sehen möchtet!!

Für das KI-Modell habe ich mit diesem Tool die Grenzen von Mistral Small 3.2 erreicht, und im Moment bin ich zu Gemma 4 gewechselt, immer noch bei Scaleway, gehostet in Frankreich, mit euren vollständig privaten Daten

Natürlich kann es noch Fehler geben und ich bin offen für euer Feedback

[pierre-gilles]

Es ist live bei mir, alles läuft

[guim31]

Das sind ja mal Nachrichten!!! Ich kann es kaum erwarten, das zu testen!!

[b3n.0]

ENNNNOOOOOOOOORME

Echt super! Danke, ich bin ein großer Fan. Ich habe es gerade ausprobiert und glaube, ich werde die Szenen vervielfachen, all die, die ich mir vorgestellt habe und für die ich zu faul war, sie zu machen!

[pierre-gilles]

Falls ihr das cool findet, können wir die Liste der „Werkzeuge“, die die KI nutzen kann, erweitern. Aktuell stehen folgende Tools zur Verfügung:

• ‹ camera.get-image ›
• ‹ scene.create ›
• ‹ scene.start ›
• ‹ device.get-state ›
• ‹ device.turn-on-off ›
• ‹ device.get-history ›

Aber ehrlich gesagt ist alles möglich und lässt sich super einfach hinzufügen.

Ich baue auf die Arbeit von @bertrandda auf dem MCP-Server auf + die neue Aktion scene.create, die ich selbst erstellt habe

[jparbel]

Danke @pierre-gilles, ich habe es gerade getestet, es funktioniert super. Bravo für all die Neuerungen der letzten Monate, ihr habt wirklich viel umgesetzt. Danke auch an @bertrandda.

[pierre-gilles]

Danke @jparbel, das freut mich

[guim31]

Boudiou, das ist ja super nett!

Aber ich hatte bei der Erstellung einer meiner Szenen ein kleines Missgeschick:

[pierre-gilles]

Bei Fehlschlägen bei der Erstellung von Szenen kommt das vor und ich denke, dass viele von euch bei diesem ersten Entwurf Fehlschläge haben werden.

Was du mir geteilt hast, ist perfekt, ich werde versuchen zu sehen, wo die KI ins Stolpern kommt. Dann werde ich die Eingabeaufforderung und das Schema verfeinern, damit es klappt!

[guim31]

Ich habe es ihm mit genau demselben „Prompt“ noch einmal gefragt und die Szene wurde tatsächlich erstellt!!

Allerdings hat er anstelle des Blocks „Nachricht senden“ einen Block „IA fragen“ verwendet

[McFlyPartages]

Hallo @pierre-gilles

Das klingt sehr vielversprechend.

Einige Fragen:

@pierre-gilles

Erstelle eine Szene, die mir jeden Morgen um 7 Uhr eine Nachricht mit dem CO2-Wert im Wohnzimmer, in der Küche und dem Status meiner Türen schickt.

Heißt das, dass er in der Lage ist, Szenen in Gladys allein zu erstellen? Oder ist das direkt eine Szene, in der er deine Anfrage speichert? Denn in diesem Fall muss man ihm trotzdem einen Auslöser hinzufügen?

Ich habe meine Antwort in einem Beitrag weiter oben erhalten.

@pierre-gilles

Für das KI-Modell habe ich mit diesem Tool die Grenzen von Mistral Small 3.2 erreicht, und im Moment bin ich zu Gemma 4 übergegangen, immer noch bei Scaleway, in Frankreich gehostet, mit euren vollständig privaten Daten

Ich bin kein KI-Experte, aber ich verstehe diesen Satz nicht. Läuft die KI auf dem Scaleway-Server? Oder werden die Anfragen nur von diesem Server gesendet. Denn in diesem Fall geht es direkt zur Cloud des KI-Anbieters, also nicht wirklich privat?

Jedenfalls ist das sehr gute Arbeit.

[pierre-gilles]

@McFlyPartages

Läuft die KI auf dem Scaleway-Server?

Ja! Ich verwende nur Open-Weight-Modelle, die in Frankreich bei Scaleway gehostet werden.

[lmilcent]

Was für eine schöne Nachricht ! Danke @bertrandda für den MCP-Server und @pierre-gilles für all die Mühe und die Integration!

Bisher habe ich meine Partnerin ein bisschen mit den Temperatursensoren in den Zimmern des Hauses überzeugt, vielleicht wird ihr diese KI den Schritt zur Automatisierung machen lassen?

[pierre-gilles]

Mit diesem neuen KI-Agenten-Baustein ergeben sich viele neue Möglichkeiten. Ich habe mich damit beschäftigt und ein Widget für den Startbildschirm erstellt, mit dem man Sprachbefehle mit einem Klick ausführen kann:

Assistant vocal Gladys démo

Würde euch das in Gladys interessieren?

[prohand]

Super Idee, um seine Smart-Home-Anlage per Sprachsteuerung zu bedienen
Funktioniert das dann auch auf dem Handy und nutzt das Mikrofon des Geräts, auf dem man die Weboberfläche startet, oder wie?

[pierre-gilles]

@prohand

Funktioniert das dann auch auf dem Handy und nutzt es das Mikrofon des Geräts, auf dem du die Weboberfläche startest?

Ja, das Mikrofon des Browsers!

[pierre-gilles]

Ich habe ein dediziertes Thema erstellt:

Spracherkennung im Armaturenbrett

Hallo zusammen! Der neue Baustein KI-Agent eröffnet viele Möglichkeiten für Gladys, und insbesondere der Bereich „Spracherkennung“ wird richtig interessant Ich habe ein kleines Proof of Concept gemacht, das ich euch zeigen möchte: [Assistant vocal Gladys démo] Bei der Spracherkennung nutze ich ein Open-Weight-Modell (whisper-large-v3), das auf Scaleway in Frankreich gehostet wird! Ich denke, diese Funktion könnte praktisch sein, wenn ihr ein Wandtablet habt und sc…

[StephaneB]

Man muss schon sagen, dass das interessante Austausche ermöglicht, das ist cool!

Ich habe das gerade ausprobiert:

Also, was die Reaktivität angeht, ist das nicht der Wahnsinn, die Antwort kam 40 Sekunden nach der Frage (und ich habe andere Tests mit ähnlichen Verzögerungen gemacht…)

Kommt das von der Leistung meines Mini-PCs? Oder liegt das an den verschiedenen Datenaustauschen und den Denkschritten mit dem KI-Server, und ich kann da nichts machen?

[pierre-gilles]

@StephaneB

Kommt das von der Leistung meines Mini-PCs? Oder liegt es an den verschiedenen Datenaustauschen und den Denkschritten mit dem KI-Server?

Nein, das liegt an den verschiedenen Schritten, aber es stimmt, dass man auf Telegram die Schritte nicht wie im Web sieht! Ich könnte die Schritte auf Telegram senden, damit es klarer wird.