Funktionsbeschreibung :
Gladys soll eine von einer KI verfasste Nachricht senden, die die von einer Kamera erfasste Bewegung beschreibt
Weiterentwicklung der bestehenden ChatGPT-Integration?
Nach dem Beitrag Message écrit par une IA qui décrit le mouvement détecté d'une caméra erstelle ich diesen Funktionswunsch, damit interessierte Personen abstimmen können
Hallo zusammen 
Das ist ein Thema, das ich schon lange machen wollte, insbesondere der Teil „Frage an die KI aus den Szenen stellen“ (auch ohne Bild), um proaktive Benachrichtigungen von der KI zu erhalten (futuristisch!).
Da ich heute Morgen mit dem ChatGPT-Bereich beschäftigt war, habe ich diese Funktion entwickelt, was mit der neuen API für die Vision von GPT-4o mini nicht sehr kompliziert war
Die KI auffordern, ein Kamerabild zu beschreiben
In einer Szene wird es möglich, die KI auffordern, auf ein Kamerabild zu reagieren:
Dadurch erhalte ich anschließend eine Benachrichtigung auf meinem Telefon, hier zum Beispiel bei der Kamera war nichts:
Die KI auffordern, basierend auf einer Kamera eine Aktion auszuführen
Wenn wir weitergehen, kann man die Garage-Kamera nehmen und basierend auf dem gerade angekommenen Auto reagieren:
Ich habe ein Bild aus dem Internet von einer Garage mit genau diesem Auto genommen und erhalte:
Jetzt ändern wir die Beschreibung des Autos:
Dieses Mal versteht die KI, was passiert, und warnt mich:
Das ist ziemlich verrückt!!!
Die Möglichkeiten sind endlos
Diese Funktion ist ziemlich futuristisch, und da es möglich ist, Variablen in die Nachricht einzufügen, ermöglicht sie viele Dinge
Was denkt ihr dazu?
Bearbeitung: Auf Twitter hier gepostet
Nur ein Wort: Soooo neugierig!!! (Oh nein, das sind schon vier ^^)
Das klingt verlockend!! Gibt es da etwa schon einen Ansatz von Jarvis?? ^^ Nicht viel fehlt noch, um SonosJarvis sprechen zu lassen, oder??^^
Ah da sind wir mitten im Jarvis 
Edit: Es ist relativ einfach, eine Sprachausgabe-Option für Lautsprecher statt einer Nachricht hinzuzufügen, wir haben alle Bausteine
Unglaublich! Die Möglichkeiten mit dieser Art von Integration sind riesig, denke ich!!
Ich liebe das Konzept, denn es würde mir zu Hause ermöglichen, auf einen Teil meiner Node-Red-Workflows im Zusammenhang mit den Kameras zu verzichten.
Ein Auto / einen Menschen / ein Fahrrad erkennen zu können, wäre ein riesiger Vorteil!!
Ich liebe die Idee!!
Es fehlt nur noch ein Auslöser für ein kamerabezogenes Ereignis (z. B. ein Auto, das ins Sichtfeld einfährt …)
Hallo zusammen
Ich habe heute Morgen weiter an diesem Thema gearbeitet und denke, dass ich fertig bin.
Hier ist ein Docker-Build mit der Funktion:
gladysassistant/gladys:ask-ai-in-scene
@Terdious (und alle anderen), falls du es testen möchtest und mir sagen, was du davon hältst!
Wie verwendet man es?
In den Szenen gibt es eine neue Aktion « IA fragen ».
Diese Aktion stellt eine Frage an die KI Gladys (ChatGPT), als ob Sie eine Nachricht an Gladys senden würden, und Sie können ein Kamerabild anhängen, das von der KI analysiert wird (dies ist optional).
In Ihrer Nachricht können Sie Sensorwerte einfügen:
Und Sie können Aktionen aus der Liste der 7 Aktionen, die derzeit von Gladys unterstützt werden anfordern, zum Beispiel:
Für Kamerabilder können Sie alles Mögliche anfordern:
Hinweis: Damit die Verarbeitungszeit so schnell wie möglich ist und diese Funktion wirtschaftlich nicht zu teuer wird, werden die Bilder in der Auflösung « low » an die OpenAI-API gesendet, maximal 512px.
Wenn bestimmte Informationen sehr klein sind, wird die KI sie nicht sehen können, aber bei 512px sieht man schon wirklich eine ganze Menge!
Toll, ich freue mich auf erste Testergebnisse !!!
Hallo @pierre-gilles,
Ich konnte heute Morgen ein bisschen testen. Es sieht sehr interessant aus, auch wenn ich es nicht vollständig testen konnte. Zum Beispiel bin ich, je nach Kameraposition, nicht überzeugt, dass es in 512px in meiner Konfiguration in der Lage ist, das Lesen eines Nummernschildes zu bestimmen ^^
Hier ist mein Kontext und die interessanten Antworten, die er mir gegeben hat. Leider konnte ich selbst bei 10s keine zentrierte Kamera im Bild haben (übrigens sag mir, ob ich dir Geld schulde, denn er hat so etwa 10 Minuten gedreht), also konnte ich nicht testen, ob er das Licht ausschaltet:
Eines ist sicher, das wird mich motivieren, die Kamera in Netatmo zu integrieren, aber noch mehr die Webhooks.
Meinungen:
Aber ehrlich gesagt funktioniert es sonst sehr gut und ist sehr schnell.
Hallo! Welche Events sind mit der Kamera verbunden?
Ich freue mich schon auf die Integration der Kameras
Danke, dass du es getestet hast!
Es ist tatsächlich ein bisschen zu sehr auf der Seite, wenn du die Kamera oder das Auto bewegst, denke ich, dass es funktionieren kann 
Nein, mach dir keine Sorgen, ist schon gut
Es stimmt, das ist stark!
Die aktuelle Entwicklung verwaltet nur die 7 Aktionen, die in der Dokumentation stehen, und hat keine Kenntnis von deinem Smart Home.
Daher funktionieren Anfragen wie „Ist das Büro eingeschaltet? „ oder „Hole den Status des Heuschneider-Schalters“, nicht, das ist eine Halluzination von ChatGPT.
Ich bin einverstanden, dass es cool wäre, wenn es möglich wäre! Ich denke, man muss der KI einfach einen Überblick über den Zustand des gesamten Smart Homes zum Zeitpunkt der Anfrage geben.
Ich sehe auch, dass du mehrere Aktionen in deinem Block anforderst, derzeit ist das nicht möglich. Derzeit gilt: 1 Anfrage = 1 Aktion/Antwort. Wenn du mehrere Dinge anforderst, wird die KI die für sie wichtigste Aktion bestimmen.
Aber wir können die Multi-Aktion problemlos entwickeln.
Es ist klar, dass für dich, der viel Netatmo nutzt, das Combo toll wird 
Hallo @spenceur,
Du kannst die Netatmo-Entwicklerseite besuchen: Netatmo Connect | Security API Documentation.
Suche dort nach „webhooks“ oder „Liste der Ereignisse“.
@pierre-gilles hat uns bereits vor einigen Jahren die Webhooks in Gladys eingerichtet. Ich denke, der längste Teil ist heute, den PR zu den Kameras abzuschließen. „Y a plus qu’à“ ^^
Hallo @Terdious
Ich habe das Bild aktualisiert, wie wir besprochen haben: die Möglichkeit für die KI, alles über den Zustand der Sensoren in deinem Haus zu wissen
Immer noch dasselbe Docker-Image:
gladysassistant/gladys:ask-ai-in-scene
Aber jetzt kannst du fragen:
(Der CO2-Wert liegt bei 1200 ppm)
Die Antwort:
Du kannst also Bedingungen für Sensorwerte erstellen, zum Beispiel „Wenn die Helligkeit niedrig ist, dann schalte das Wohnzimmerlicht ein“
Achte jedoch darauf, dass ChatGPT, wenn ein Kamerabild beigefügt ist, leichter „halluziniert“. Ich hatte versucht, ihn zu bitten, mir das Kamerabild zu beschreiben und einen Überblick über die Haussensoren zu geben, und er hat komplett „halluziniert“ und mir Sensorwerte genannt, die ich gar nicht habe!
Lass mich wissen, wie es bei dir funktioniert. Ich wäre neugierig zu sehen, ob es bei einer so großen Installation die Ausführung nicht zu sehr verlangsamt.
Nächster Schritt für mich: Multi-Action!
Oups !! Ich glaube, er mag das nicht ^^
Ich schicke dir die Logs privat !!
Oh je! Danke Ich werde nächste Woche recherchieren, Montag Rückkehr nach Frankreich, ich werde am Freitag schauen!
@Terdious ich habe die Ursache gefunden, es lag auf der Serverseite, der Payload wurde blockiert, weil er zu groß war, aber die Servergrenze war wirklich sehr niedrig, also habe ich sie erhöht!
Kannst du es nochmal testen?
Sind diese Werte in Ordnung?
