Gladys Assistant 4.48: Die Proaktive KI kommt in Gladys Assistant!

Hallo zusammen!

Das ist ein Update, das euch gefallen wird!! :smiley:

Mehr dazu auf dem Blog:

https://gladysassistant.com/de/blog/proactive-ai/

Wenn ihr Feedback zu den neuen Funktionen habt, bin ich wirklich offen dafür.

Das CHANGELOG ist hier verfügbar.

Falls ihr Fragen habt, zögert nicht :slight_smile:

:heart_eyes:
Ich spüre, dass mein Künstlername durch die Decke gehen wird :yum:
Ein großes Bravo für all die Arbeit. :pray: :+1:
Je mehr Gladys sich weiterentwickelt, desto weniger kann ich darauf verzichten ..

Danke @tiboys ! :slight_smile:

@pierre-gilles ich weiß nicht, ob du diese Seite kennst https://selfh.st/?

Ich habe sie über r/selfhosted auf Reddit kennengelernt, weil ich jede Woche deren Artikel lese.

Ihre Veröffentlichungen haben viel Erfolg und ich denke, es wäre einen Versuch wert, ihm von Gladys zu erzählen, damit er sie zu seiner Projektbeobachtung hinzufügt! :+1:

Das wusste ich nicht, ich habe ihn per E-Mail kontaktiert, danke! :slight_smile:

Ich muss etwas zurückgeben.
Standardmäßig antwortet es nur auf Telegram.
Ist es möglich, die Rückmeldung in einer Variable zu speichern und sie potenziell mit Sonos oder anderen zu verwenden?

Kennt jemand eine Möglichkeit, ein Video zu analysieren, um die Informationen an Gladys (MQTT, REST oder andere) zu senden?

Klar, @Terdious hatte denselben Wunsch :slight_smile: Ich würde mich über einen Feature-Request freuen!

Was möchtest du genau machen?

Mein Auslöser, der es mir ermöglicht, diese Funktion genau zu starten :slight_smile:

Ah, ich verstehe, du kannst entweder einen Bewegungssensor verwenden oder Frigate nutzen:

Das ist ein Open-Source-NVR, das an Kamerastreams angeschlossen werden kann und dir die Erkennung von Bewegungen ermöglicht.

Allerdings brauchst du für den Machine-Learning-Teil einen TPU, sonst ist es auf der CPU zu langsam und beansprucht alle Ressourcen deines Rechners: Google Coral USB Edge TPU ML Accelerator Coprocessor for Raspberry Pi and Other Embedded Single Board Computers: Amazon.de: Computer & Accessories

Anschließend veröffentlicht Frigate MQTT-Nachrichten, die du in Gladys abhören kannst:

frigate/<camera_name>/detect/state

Dokumentation: MQTT | Frigate

Gibt es jetzt Freitags Releases von Gladys?!
Zu ungeduldig?
Danke für die Arbeit! Das klingt super!
Gerade wird das Wetter ja auch trüber… :innocent:

Ok, beim nächsten Kauf die Coral USB, um Frigate auf meinem 918+ hinzuzufügen
Danke

Ich wollte dich gerade fragen, was dein Gladys antreibt, denn mit aktuellen Intel-CPUs kann man auch OpenVIno nutzen, das Coral ersetzt (etwas weniger effizient, aber nichts zusätzlich zu kaufen).
Aber im Rahmen eines Synology macht das natürlich Sinn, zumal du mit einem einzigen Coral wirklich viele Erkennungsströme verwalten kannst :+1:

Ich mache ein paar Tests… Aber ich erreiche nicht das erwartete Ergebnis.

In einer Szene, die durch das Öffnen meines Tores ausgelöst wird, habe ich den folgenden Prompt:

Führe die Szene „Bild von der Portal-Kamera senden“ aus.
Anschließend, wenn du einen schwarzen Volkswagen T-Cross oder einen schwarzen Volkswagen Touran siehst, der durch das Tor einfährt, dann schicke mir eine Nachricht, um mir mitzuteilen, dass Sophie oder Guilhem zu Hause sind.
Falls diese Autos geparkt sind, dann schicke eine Nachricht, um mir das mitzuteilen.
Falls es sich um ein anderes Auto handelt, warne mich, dass ein unbekanntes Auto gesehen wurde.

Das Ergebnis ist folgendes:

Er hat die Szene tatsächlich gestartet, ich habe meine Aufnahme… Aber er hat nicht analysiert, noch nicht einmal auf meinen Prompt geantwortet.

Irgendeine Idee, warum? Zu viele Dinge in einem einzigen Prompt?

das Problem ist, dass ich denke, er weiß nicht, dass er das Bild, das er gerade aufgenommen hat, zur Analyse zurückschicken muss

Ich habe doch das Kamerabild angehängt.

In diesem Fall versuche zunächst, ihm eine Aufforderung zu geben, in der du ihn fragst, was er auf dem Bild sieht

um das Problem zu zerlegen und zu sehen, wo es hakt

Letztendlich denke ich, dass es daran liegt, dass er eine Szene auslösen soll + eine andere Aktion ausführen, die blockiert. Ich habe es in 2 Schritte aufgeteilt und es funktioniert!! :grin: :+1:

Derzeit kann es nur eine einzige „Aktion“ pro „IA fragen“-Block geben.

Daher ist die „stärkste“ Aktion deiner Anfrage, die Szene zu starten, also startet er die Szene, kann dir aber nicht antworten.

Ich würde dir empfehlen, die Szene einfach in einer „Szene starten“-Aktion zu starten, wenn es nicht bedingt ist, und dann im „IA fragen“-Block nach Informationen zu fragen.

Jetzt verstehe ich besser :+1:
Es funktioniert perfekt, aber ich muss herausfinden, wie ich das Ganze mit anderen Kriterien verfeinern kann, um das Auto zu erkennen, denn bei Nacht kann mir ChatGPT nicht sagen, ob das Auto schwarz ist ^^