Nouvelle architecture IA : Gladys devient un vrai agent IA 🤖

[GBoulvin]

Bonjour!

J’ai voulu essayer la création de scènes, sans succès :

Le log est immense mais la dernière ligne dit…

data: { status: 500, error_code: ‹ SERVER_ERROR › }

Edit :

Elle a mourru…

Je vais la laisser tranquille. On est samedi, c’est peut-être le weekend pour elle aussi!

Edit 2:

[pierre-gilles]

Merci pour le retour, c’est marrant ton prompt a fait complètement halluciner l’IA, toutes ses tentatives sont fausses (device_get_state au lieu de créer une scène)

Essaie de refaire un message mais peut être plus explicite ?

[GBoulvin]

Voilà, j’ai reformulé, discuté, argumenté mais sans y parvenir.

Voici un petit extrait

Il y avait plusieurs problèmes. D’abord, j’ai une pièce salle de bains et un interrupteur général qui porte le même nom. Ensuite, les devices avec plusieurs features posaient problème. Enfin, il ne voyait pas comment ‹ attendre ›.

Au final, il y a toujours un truc qui coince mais je n’ai pas encore trouvé lequel…

Edit :

Puis j’ai la liste de tous les devices de la maison

terminé par

[pierre-gilles]

Merci pour ce retour détaillé !

Je vais regarder s’il n’y a pas un problème de modélisation dans le schéma des scènes qui pourrait expliquer ce bug.

Petite info utile, l’IA est limitée à 5 itérations autonomes consécutives afin d’éviter les boucles infinies. Donc lorsque les appels d’outils s’arrêtent et ne reprennent plus, inutile d’attendre : si tu ne vois plus « Gladys est en train d’écrire », il n’y a plus aucun traitement en cours en arrière-plan.

Dès qu’une réponse de Gladys apparaît, c’est que l’exécution est terminée. Dans ton exemple, on observe d’ailleurs souvent 4 appels d’outils suivis d’une réponse finale.

De manière générale, ton instance est grosse ? Combien d’appareils ? Combien de scènes ?

Je me demande si le modèle n’hallucine pas un peu dans ton cas, car dans tous les cas, il devrait faire une création de scène et pas des device_get_state…

[GBoulvin]

@pierre-gilles

si tu ne vois plus « Gladys est en train d’écrire », il n’y a plus aucun traitement en cours en arrière-plan.

Donc rien ne sert d’attendre. Je note

@pierre-gilles

De manière générale, ton instance est grosse ? Combien d’appareils ? Combien de scènes ?

Il y a une bonne cinquantaine de valeurs de capteurs et switches et une cinquantaine de scènes (la plupart sont très courtes).

Je viens de réessayer ce matin. J‘ai dû redémarrer Gladys car le chat ne répondait pas. Ensuite, en effet, 4 get devices state (dont le dernier n’est pas utile) puis plus rien. Le chat ne répond plus à mes messages. Gladys n’est pour autant pas plantée.

Cette fois, rien n’est apparu dans les logs.

Il n’y a rien d’urgent, bon dimanche !

[pierre-gilles]

J’investigue demain !

[pierre-gilles]

@GBoulvin j’ai réussi à reproduire, et j’ai corrigé le bug, ça partira dans la prochaine version de Gladys. Le schéma des scènes passé à l’IA n’était pas assez clair

En plus de ça, j’ai amélioré la gestion des erreurs, si le modèle IA envoie une réponse vide, alors on met un message d’erreur dans le chat ! ça évitera les « non réponses » que tu as eu

[Jluc]

J’ai demandé par la voix à l’IA, de créer une scène avec le coucher du soleil comme déclencheur avec un délai de 20 minutes pour l’allumage d’un ruban led. Au résultat, la scène n’intègre pas l’action alors qu’elle avait été mentionnée dans le message de réponse. Est-ce normal ?

[pierre-gilles]

Salut @Jluc

Merci d’avoir testé et de ton retour !

Je pense que c’est lié au bug qu’à rencontré @GBoulvin ci-dessus.

J’ai fais un correctif qui part dans la journée, et avec le correctif ça a l’air de marcher :

[Jluc]

Une tentative différente a déclenché :

[pierre-gilles]

@pierre-gilles

Non, c’est dû aux différentes étapes, mais c’est vrai que sur Telegram, du coup, on ne voit pas les étapes comme sur le web ! Je pourrais envoyer les étapes sur Telegram pour que ce soit plus clair.

@StephaneB j’ai corrigé ça, ça part dans la prochaine version de Gladys :

Plus facile de voir ce que fait l’IA via Telegram

[Psoy]

Bonsoir à tous, @pierre-gilles
Le forum est bien actif, et c’est très bien. Je n’arrive plus à tout suivre d’ailleurs, donc je pose une question sur l’IA, comme elle a fait beaucoup de progrès, je voulais savoir si Gladys pouvait récupérer des valeurs lues par une caméra interprétées par l’IA pour les envoyer à Node Red ? En gros, j’essaie de récupérer les valeurs de mon pH et mon Redox, en demandant à l’IA d’analyser ma caméra, qui est braquée sur mes appareils. Je demande à l’IA de me lire les valeurs (ce qui fonctionne plutôt bien) et me les renvoie dans Telegram. J’aurais voulu les récupérer dans Node Red pour pouvoir les seuiller. Est-ce que c’est possible ?

[mutmut]

À mon avis il ne faut pas que tu les renvoies direct dans Telegram.
Je passerai par un ou plusieurs devices mqtt et ensuite j’enverrai via Telegram.

[pierre-gilles]

Salut @Psoy

Ce n’est pas possible actuellement mais ça devrait pouvoir s’ajouter assez facilement !

Je pense qu’on pourrait donner un nouvel outil à l’IA pour définir une valeur de capteur, valeur que tu pourrais ensuite lire dans la scène et envoyer à Node-RED, tu en penses quoi ?

Si ça te plait, est-ce que tu peux créer une demande de fonctionnalité ?

[Psoy]

@pierre-gilles

Je pense qu’on pourrait donner un nouvel outil à l’IA pour définir une valeur de capteur

bonsoir @pierre-gilles
merci pour ta réponse, mais qu’est-ce que tu entends par : donner un nouvel outil à l’IA pour définir une valeur de capteur ? ; pour mon cas, ce serait comme lire une plaque minéralogique, l’interpréter et la comparer avec une liste de plaques autorisées pour ouvrir un portail par exemple avec une scène. En gros, c’est de récupérer une valeur lue par une caméra et d’en faire une variable que l’on peut tester. J’ai mis Node-RED, mais avec une scène, ce serait déjà bien

[Psoy]

@mutmut

il ne faut pas que tu les renvoies direct dans Telegram

Bonsoir @mutmut
Je me suis mal exprimé, je voulais dire, quand j’utilise la fonction « demander à l’IA » dans les scènes, que les valeurs étaient envoyées à Telegram, dans le message. Je suis d’accord avec toi, il faudrait créer un device Mqtt pour récupérer ces valeurs. J’ai décrit dans le message suivant ce que je voulais faire plus clairement, j’espère. Merci pour ta réponse

[pierre-gilles]

@Psoy

merci pour ta réponse, mais qu’est-ce que tu entends par : donner un nouvel outil à l’IA pour définir une valeur de capteur ?

L’agent IA de Gladys dispose d’un ensemble d’outils qui lui permettent d’interagir avec ton instance Gladys.

C’est ce que tu vois dans le chat lorsque tu lui poses une question, par exemple :

Ici, l’action device_get_state est un outil que l’IA a utilisé pour récupérer l’état d’un appareil avant de te répondre.

On pourrait imaginer l’ajout d’un nouvel outil, par exemple sensor_set_state, qui permettrait à l’IA d’écrire une valeur dans un capteur virtuel.

Dans ce cas, ta scène pourrait fonctionner ainsi :

1. Demander à l’IA de lire la valeur de pH affichée par la caméra, puis de l’enregistrer dans un capteur virtuel pH-lecture-camera que tu aurais créé au préalable via l’intégration Appareil virtuel MQTT.
2. Récupérer la valeur de ce capteur dans Gladys.
3. Effectuer les traitements de ton choix : comparaison avec un seuil, envoi d’une notification, déclenchement d’un scénario, etc.

Ça me paraît être un cas d’usage intéressant. Si l’idée te plaît, je t’invite à ouvrir une demande de fonctionnalité pour ajouter ce nouvel outil à l’agent IA

[guim31]

Est ce que ce cas d’usage pourrait aussi être utilisé pour un thermostat par exemple ? Ça permettrait de régler celui ci directement

[Psoy]

Merci @pierre-gilles.
Expliquez comme ça, je comprends et c’est exactement ça,

Ici, l’action `device_get_state` est un outil que l’IA.

j’utilise toujours Telegram et je n’avais pas vu cette ligne dans discussion
Je fais une demande de fonctionnalité,
Je vais m’inspirer de ton explication pour faire la demande de fonctionnalité, ce sera plus clair
Merci encore .

[Psoy]

@guim31

Est ce que ce cas d’usage pourrait aussi être utilisé pour un thermostat par exemple ? Ça permettrait de régler celui ci directement

Bojour @guim31
j’imagine qu’apres avoir lu ton thermostat avec une camera, le capteur virtuel recupere cette valeur. Apres je pense que l’on pourra la triturer, l’incrementer, la seuiller ou la passer en argument dans « controler un appareil »