Hallo zusammen 
Das ist ein Thema, das ich schon lange machen wollte, insbesondere der Teil „Frage an die KI aus den Szenen stellen“ (auch ohne Bild), um proaktive Benachrichtigungen von der KI zu erhalten (futuristisch!).
Da ich heute Morgen mit dem ChatGPT-Bereich beschäftigt war, habe ich diese Funktion entwickelt, was mit der neuen API für die Vision von GPT-4o mini nicht sehr kompliziert war
Die KI auffordern, ein Kamerabild zu beschreiben
In einer Szene wird es möglich, die KI auffordern, auf ein Kamerabild zu reagieren:
Dadurch erhalte ich anschließend eine Benachrichtigung auf meinem Telefon, hier zum Beispiel bei der Kamera war nichts:
Die KI auffordern, basierend auf einer Kamera eine Aktion auszuführen
Wenn wir weitergehen, kann man die Garage-Kamera nehmen und basierend auf dem gerade angekommenen Auto reagieren:
Ich habe ein Bild aus dem Internet von einer Garage mit genau diesem Auto genommen und erhalte:
Jetzt ändern wir die Beschreibung des Autos:
Dieses Mal versteht die KI, was passiert, und warnt mich:
Das ist ziemlich verrückt!!!
Die Möglichkeiten sind endlos
Diese Funktion ist ziemlich futuristisch, und da es möglich ist, Variablen in die Nachricht einzufügen, ermöglicht sie viele Dinge
- Die Wettervorhersage des Tages analysieren und mir eine kurze Zusammenfassung schreiben, die jeden Morgen um 8 Uhr auf meinem Telefon gesendet wird
- Wenn der Alarm bei mir zu Hause auslöst, mir eine Nachricht senden, die zusammenfasst, was passiert: Zustände der Sensoren, Bildanalyse usw. alles in einer einzigen Nachricht!
- Analyse jedes beliebigen Bildes, egal ob das Bild von einer Kamera bei mir zu Hause oder einem Online-Stream stammt, alles ist möglich
- und vieles mehr!!
Was denkt ihr dazu?
Bearbeitung: Auf Twitter hier gepostet