Neue KI-Architektur: Gladys wird ein echter KI-Agent 🤖

[GBoulvin]

Hallo!

Ich wollte die Erstellung von Szenen ausprobieren, aber ohne Erfolg:

Der Log ist riesig, aber die letzte Zeile sagt…

data: { status: 500, error_code: ‹ SERVER_ERROR › }

Bearbeitung:

Sie ist gestorben…

Ich werde sie in Ruhe lassen. Es ist Samstag, vielleicht hat sie auch Wochenende!

Bearbeitung 2:

[pierre-gilles]

Danke für das Feedback, es ist lustig, dein Prompt hat die KI komplett halluzinieren lassen, alle ihre Versuche waren falsch (device_get_state statt eine Szene zu erstellen).

Versuche es nochmal, aber vielleicht etwas expliziter?

[GBoulvin]

Voilà, ich habe umformuliert, diskutiert, argumentiert, aber ohne Erfolg.

Hier ist ein kleiner Auszug

Es gab mehrere Probleme. Zuerst habe ich ein Badezimmer und einen Hauptschalter, die denselben Namen tragen. Dann gab es Probleme mit Geräten, die mehrere Funktionen haben. Schließlich wusste er nicht, wie man ‹ wartet ›.

Letztendlich gibt es immer etwas, das nicht funktioniert, aber ich habe noch nicht herausgefunden, was…

Edit:

Dann habe ich die Liste aller Geräte im Haus

beendet durch

[pierre-gilles]

Danke für das detaillierte Feedback!

Ich werde prüfen, ob es ein Modellierungsproblem im Szenenschema gibt, das diesen Fehler erklären könnte.

Ein nützlicher Hinweis: Die KI ist auf 5 aufeinanderfolgende autonome Iterationen begrenzt, um endlose Schleifen zu vermeiden. Wenn also die Tool-Aufrufe stoppen und nicht wieder aufgenommen werden, ist es sinnlos zu warten: Wenn du nicht mehr „Gladys schreibt gerade“ siehst, läuft im Hintergrund keine Verarbeitung mehr.

Sobald eine Antwort von Gladys erscheint, ist die Ausführung abgeschlossen. In deinem Beispiel sieht man übrigens oft 4 Tool-Aufrufe, gefolgt von einer abschließenden Antwort.

Generell, ist deine Instanz groß? Wie viele Geräte? Wie viele Szenen?

Ich frage mich, ob das Modell in deinem Fall nicht ein bisschen halluziniert, denn in jedem Fall sollte es eine Szenen-Erstellung und keine device_get_state… durchführen.

[GBoulvin]

@pierre-gilles

Wenn du « Gladys schreibt gerade » nicht mehr siehst, gibt es keine laufenden Hintergrundprozesse mehr.

Also bringt Warten nichts. Ich notiere

@pierre-gilles

Generell, ist deine Instanz groß? Wie viele Geräte? Wie viele Szenen?

Es gibt etwa fünfzig Sensor- und Schalterwerte und etwa fünfzig Szenen (die meisten sind sehr kurz).

Ich habe es heute Morgen noch einmal versucht. Ich musste Gladys neu starten, weil der Chat nicht reagierte. Danach, tatsächlich, 4 Gerätezustandsabfragen (die letzte ist nicht nützlich) und dann nichts mehr. Der Chat reagiert nicht mehr auf meine Nachrichten. Gladys ist aber nicht abgestürzt.

Dieses Mal ist nichts in den Logs aufgetaucht.

Es ist nichts Dringendes, schönes Wochenende!

[pierre-gilles]

Ich untersuche morgen!

[pierre-gilles]

@GBoulvin Ich konnte das Problem reproduzieren und den Fehler beheben, er wird in der nächsten Version von Gladys veröffentlicht. Das Schema der Szenen, das an die KI übergeben wurde, war nicht klar genug

Zusätzlich habe ich die Fehlerbehandlung verbessert. Wenn das KI-Modell eine leere Antwort sendet, wird eine Fehlermeldung im Chat angezeigt! Das wird die „Nicht-Antworten“ verhindern, die du hattest

[Jluc]

Ich habe per Sprachbefehl die KI gebeten, eine Szene mit dem Sonnenuntergang als Auslöser zu erstellen, mit einer Verzögerung von 20 Minuten für das Einschalten eines LED-Streifens. Das Ergebnis enthält jedoch keine Aktion, obwohl sie in der Antwortnachricht erwähnt wurde. Ist das normal?

[pierre-gilles]

Hallo @Jluc

Danke, dass du es getestet und dein Feedback gegeben hast!

Ich denke, das ist mit dem Bug verbunden, den @GBoulvin oben hatte.

Ich habe einen Fix gemacht, der heute rausgeht, und mit dem Fix scheint es zu funktionieren:

[Jluc]

Ein anderer Versuch hat ausgelöst:

[pierre-gilles]

@pierre-gilles

Nein, das liegt an den verschiedenen Schritten, aber es stimmt, dass man auf Telegram die Schritte nicht wie im Web sieht! Ich könnte die Schritte auf Telegram senden, damit es klarer ist.

@StephaneB Ich habe das korrigiert, es wird in der nächsten Version von Gladys veröffentlicht:

Es ist einfacher, zu sehen, was die KI über Telegram macht

[Psoy]

Guten Abend zusammen, @pierre-gilles
Der Forum ist wirklich aktiv, und das ist sehr gut. Ich komme kaum noch mit, daher stelle ich eine Frage zur KI, da sie große Fortschritte gemacht hat. Ich wollte wissen, ob Gladys Werte, die von einer Kamera gelesen und von der KI interpretiert werden, an Node Red senden kann? Also, ich versuche, die Werte meines pH-Werts und meines Redox-Potentials zu erhalten, indem ich die KI bitte, meine Kamera zu analysieren, die auf meine Geräte gerichtet ist. Ich bitte die KI, mir die Werte vorzulesen (was recht gut funktioniert) und sie mir in Telegram zu senden. Ich hätte sie gerne in Node Red erhalten, um sie zu begrenzen. Ist das möglich?

[mutmut]

Meiner Meinung nach solltest du sie nicht direkt an Telegram weiterleiten.
Ich werde über ein oder mehrere MQTT-Geräte gehen und dann über Telegram senden.

[pierre-gilles]

Hallo @Psoy

Das ist aktuell nicht möglich, aber es sollte relativ einfach hinzuzufügen sein!

Ich denke, wir könnten der KI ein neues Tool geben, um einen Sensorwert zu definieren, den du dann in der Szene lesen und an Node-RED senden könntest. Was hältst du davon?

Falls es dir gefällt, könntest du dann einen Feature-Request erstellen?

[Psoy]

@pierre-gilles

Ich denke, wir könnten der KI ein neues Werkzeug geben, um einen Sensorwert zu definieren

abend @pierre-gilles
vielen Dank für deine Antwort, aber was meinst du damit: der KI ein neues Werkzeug geben, um einen Sensorwert zu definieren? ; in meinem Fall wäre das so, als würde man ein Nummernschild lesen, es interpretieren und es mit einer Liste von zugelassenen Nummernschildern vergleichen, um zum Beispiel mit einer Szene ein Tor zu öffnen. Kurz gesagt, es geht darum, einen von einer Kamera gelesenen Wert zu erfassen und daraus eine Variable zu machen, die man testen kann. Ich habe Node-RED verwendet, aber mit einer Szene wäre das schon mal ein guter Anfang

[Psoy]

@mutmut

du solltest sie nicht direkt an Telegram weiterleiten

Guten Abend @mutmut
Ich habe mich falsch ausgedrückt, ich wollte sagen, wenn ich die Funktion „IA fragen“ in den Szenen verwende, werden die Werte an Telegram in der Nachricht gesendet. Ich bin mit dir einer Meinung, es sollte ein MQTT-Gerät erstellt werden, um diese Werte abzurufen. Ich habe im folgenden Beitrag beschrieben, was ich klarer machen wollte. Ich hoffe. Danke für deine Antwort

[pierre-gilles]

@Psoy

merci pour ta réponse, mais qu’est-ce que tu entends par : donner un nouvel outil à l’IA pour définir une valeur de capteur ?

Der KI-Agent von Gladys verfügt über einen Satz von Werkzeugen, die es ihm ermöglichen, mit deiner Gladys-Instanz zu interagieren.

Das ist es, was du im Chat siehst, wenn du ihm eine Frage stellst, zum Beispiel:

Hier ist die Aktion device_get_state ein Werkzeug, das die KI verwendet hat, um den Zustand eines Geräts abzurufen, bevor sie dir geantwortet hat.

Man könnte sich die Hinzufügung eines neuen Werkzeugs vorstellen, zum Beispiel sensor_set_state, das es der KI ermöglichen würde, einen Wert in einen virtuellen Sensor zu schreiben.

In diesem Fall könnte deine Szene wie folgt funktionieren:

1. Die KI auffordern, den von der Kamera angezeigten pH-Wert zu lesen und ihn dann in einem virtuellen Sensor pH-lecture-camera zu speichern, den du zuvor über die Integration Virtuelle MQTT-Geräte erstellt hast.
2. Den Wert dieses Sensors in Gladys abrufen.
3. Die von dir gewünschten Verarbeitungen durchführen: Vergleich mit einem Schwellenwert, Senden einer Benachrichtigung, Auslösen eines Szenarios usw.

Das scheint mir ein interessanter Anwendungsfall zu sein. Wenn dir die Idee gefällt, lade ich dich ein, einen Feature-Request zu erstellen, um diesem KI-Agenten dieses neue Werkzeug hinzuzufügen

[guim31]

Könnte dieser Anwendungsfall auch für einen Thermostat verwendet werden? Das würde es ermöglichen, diesen direkt einzustellen

[Psoy]

Danke @pierre-gilles.
Erklärt man es so, verstehe ich es und genau das ist es,

Hier ist die Aktion `device_get_state` ein Werkzeug, das die KI nutzt.

Ich nutze immer noch Telegram und hatte diese Zeile in der Diskussion nicht gesehen
Ich mache einen Feature-Request,
Ich werde mich an deiner Erklärung orientieren, um den Feature-Request zu stellen, das wird klarer sein
Nochmals danke .

[Psoy]

@guim31

Könnte dieser Anwendungsfall auch für ein Thermostat verwendet werden? Damit könnte man es direkt einstellen

Hallo @guim31
Ich stelle mir vor, dass man nach dem Auslesen des Thermostats mit einer Kamera der virtuelle Sensor diesen Wert übernimmt. Danach denke ich, dass man ihn verarbeiten, inkrementieren, schwellwertbegrenzen oder als Argument in « Gerät steuern » übergeben könnte.