Gladys Assistant 4.48 : L'IA Proactive débarque dans Gladys Assistant!

Salut à tous !

C’est une mise à jour qui va vous plaire !! :smiley:

Je vous en dis plus sur le blog :

N’hésitez pas si vous avez des retours sur ces nouvelles fonctionnalités, je suis vraiment preneur de vos retours.

Le CHANGELOG est disponible ici.

Si vous avez des questions, n’hésitez pas :slight_smile:

10 « J'aime »

:heart_eyes:
Je sens que mon nombre de scène va exploser :yum:
Un grand bravo pour tout ce taf. :pray: :+1:
Plus Gladys évolue et moins je peux m’en passer …

2 « J'aime »

Merci @tiboys ! :slight_smile:

@pierre-gilles je ne sais pas si tu connais ce site https://selfh.st/?

Je l’ai connu par le biais de r/selfhosted sur reddit car je lis toutes les semaines ses articles.

Ses publications ont pas mal de succès et je pense que ça vaudrait le coup de lui parler de Gladys pour qu’il l’ajoute à sa veille de projets ! :+1:

Je connaissais pas, je l’ai contacté par email, merci ! :slight_smile:

1 « J'aime »

Un petit retour a faire.
Par defaut ca ne repond que sur télégramme.
Est il possible de récupérer le retour dans une variable et potentiellement l’utiliser avec sonos, ou autres.

Quelquun connais un moyens d’analyser une video pour envoyer linfo a gladys (mqtt, rest ou autres) ?

Carrément, @Terdious avait la même demande :slight_smile: Je veux bien une demande de fonctionnalité !

Qu’est ce que tu veux faire exactement ?

Avoir mon declencheur qui me permet de lancer cette feature justement :slight_smile:

Ah je vois, soit tu mets un capteur de mouvement, soit tu peux utiliser Frigate:

C’est un NVR open-source qui se plug sur des flux caméras et peut te permettre de détecter des mouvements.

Par contre pour le faire tourner il faut un TPU pour la partie machine learning, sinon en CPU c’est trop lent et ça va prendre toutes les ressources de ta machine : Google Coral USB Edge TPU ML Accelerator Coprocesseur pour Raspberry Pi et Autres Ordinateurs embarqués monocarte : Amazon.fr: Informatique

Ensuite Frigate publiera des messages MQTT que tu peux écouter dans Gladys :

frigate/<camera_name>/detect/state

Documentation: MQTT | Frigate

3 « J'aime »

Il y a des releases de Gladys le vendredi maintenant ?!
Trop impatient ?
Merci pour le boulot ! Ça a l’air top !
Justement, la météo devient plus maussade… :innocent:

2 « J'aime »

Ok prochain achat la coral usb pour ajouté frigate sur mon 918+
Thx

1 « J'aime »

J’allais te demander sur quoi tournait ton Gladys, car avec des CPU Intel récents on peut aussi utiliser OpenVIno qui vient remplacer le Coral (un brin moins efficace, mais rien à acheter en plus).
Mais dans le cadre d’un Synology alors ça a tout son sens, d’autant qu’avec un seul Coral tu peux gérer vraiment beaucoup de flux de détection :+1:

1 « J'aime »

Je fais quelques tests… Mais je n’arrive pas au résultat escompté.

Dans une scène, déclenchée par l’ouverture de mon portail, j’ai le prompt suivant :

Déclenche la scène Envoyer image camera Portail. 
Ensuite, si tu vois une Volkswagen T-cross noire, ou une Volkswagen Touran noire qui s'engage par le portail, alors envoie moi un message pour me dire que Sophie ou Guilhem sont à la maison.
Si ces voitures sont stationnées, alors envoie un message pour me l'indiquer. 
S'il s'agit d'une autre voiture, préviens moi qu'une voiture inconnue a été vue.

Le résultat est le suivant :

Il a bien lancé la scène, j’ai bien ma capture… Mais il n’a pas analysé, ni même n’a répondu quoi que ce soit à mon prompt.

Une idée du pourquoi ? Trop de choses dans un seul prompt ?

le probleme c’est que je pense qu’il ne sais pas qu’il faut regarder l’image qu’il viens de prendre il faut lui renvoyer pour analyse

J’ai pourtant joint l’image de la camera.

Dans ce cas essaye deja de lui faire un prompt en lui demandant ce qu’il voie sur l’image

pour decompose le probleme et voir ou cela coince

1 « J'aime »

Au final je pense que c’est le fait de lui faire déclencher une scène + faire une autre action qui bloque. J’ai découpé en 2 étapes et ça fonctionne !! :grin: :+1:

1 « J'aime »

Actuellement il ne peut y avoir qu’une seule « action » par bloc « Demander à l’IA »

Donc la l’action la plus « forte » de ta demande c’est de lancer la scène donc il lance la scène mais ne peut pas te répondre.

Je te conseillerais de juste lancer la scène dans une action « lancer scène » si c’est pas conditionnel, puis de demander des informations dans le bloc demander à l’IA

1 « J'aime »

Je comprends mieux :+1:
Ça fonctionne nickel, par contre il va falloir que je trouve comment affiner tout ça avec d’autres critères pour reconnaître la voiture, car en vision de nuit ChatGPT ne saura pas me dire si la voiture est noire ^^