How to speak to Gladys with Snips assistant


#21

Je pense aussi, pour débuter, essaye de laisser le fichier de conf d’origine.


#22

J’ai eu ce problème et pour le résoudre j’ai du refaire toute la config de mosquitto
si je retrouve comment j’ai fait je le mettrais pour ceux que ça intéresse


#23

Bon, j’ai finalement trouvé par hasard : j’ai changé le fichier snips.toml et j’ai remplacé localhost:1883 par 127.0.0.1:1883

Quand je dis le hotword, ça se déclenche bien, j’ai le retour audio. Par contre, je n’ai pas de réponse, même avec l’assistant demo. Il reconnait la phrase mais pas de retour audio.

Ma question : quelle configuration doit-on faire sur la console Snips pour qu’il reconnaisse les phrases du Brain de Gladys ?
Auriez-vous une capture d’écran de votre console Snips ?

Merci d’avance pour votre aide.

G.


#24

@Jean-Philippe, j’ai trouvé ton application Gladys sur le store de Snips, je l’ai ajoutée et j’ai update l’assistant. J’ai le même problème, ça se déclenche mais pas de retour. Je n’ai rien qui arrive dans les logs de Gladys, c’est normal ? Ca vient du MQTT ?


#25

Si tu fais un sam watch sur le device concerné, vois-tu déja la reconnaissance de l’intent lorsque tu dis une phrase ?

Ensuite, coté gladys, fais pm2 log et regarde si tu vois les lignes de log indiquant la détection du hotword, puis de l’intent.


#26

Salut,

Les logs de Snips :

[13:25:59] [Hotword] detected on site **default** , for model **default**

[13:25:59] [Asr] was asked to stop listening on site **default**

[13:25:59] [Hotword] was asked to toggle itself 'off' on site **default**

[13:25:59] [Dialogue] session with id 'ae710372-eff6-4ce3-bc9e-4c5833ac8aec' was started on site **default**

[13:25:59] [AudioServer] was asked to play a wav of 41.1 kB with id '2ae80ffe-3c0f-43db-a021-ced90c6c1c2d' on site **default**

[13:26:00] [AudioServer] finished playing wav with id '2ae80ffe-3c0f-43db-a021-ced90c6c1c2d'

[13:26:00] [Asr] was asked to listen on site **default**

[13:26:03] [Asr] captured text " **eteins la lumière** " in 3.0s

[13:26:03] [Asr] was asked to stop listening on site **default**

[13:26:03] [AudioServer] was asked to play a wav of 93.1 kB with id '1461d0a2-772e-4103-80c9-abaf425a2438' on site **default**

[13:26:05] [AudioServer] finished playing wav with id '1461d0a2-772e-4103-80c9-abaf425a2438'

[13:26:05] [Nlu] was asked to parse input "eteins la lumière"

[13:26:05] [Nlu] detected intent **JeanPhilippe:pushToGladysBrain** with probability **1.000** for input " **eteins la lumière** "

**[13:26:05]** [Dialogue] New intent detected **JeanPhilippe:pushToGladysBrain** with probability **1.000**

[13:26:11] [Dialogue] session with id 'ae710372-eff6-4ce3-bc9e-4c5833ac8aec' was ended on site **default** . The session was ended because one of the component didn't respond in a timely manner

[13:26:11] [Asr] was asked to stop listening on site **default**

[13:26:11] [Hotword] was asked to toggle itself 'on' on site **default**

Les logs de Gladys à ce moment :

0|gladys   | Access with token to user Gurwan
0|gladys   | User 1 still detected in area Maison
0|gladys   | House : checkUsersPresence
0|gladys   | Access with token to user Gurwan
0|gladys   | User 1 still detected in area Maison
0|gladys   | Access with token to user Gurwan
0|gladys   | User 1 still detected in area Maison
0|gladys   | Access with token to user Gurwan
0|gladys   | User 1 still detected in area Maison
0|gladys   | House : checkUsersPresence
0|gladys   | Access with token to user Gurwan
0|gladys   | User 1 still detected in area Maison
0|gladys   | Access with token to user Gurwan
0|gladys   | User 1 still detected in area Maison
0|gladys   | Access with token to user Gurwan
0|gladys   | User 1 still detected in area Maison
0|gladys   | House : checkUsersPresence
0|gladys   | Access with token to user Gurwan
0|gladys   | User 1 still detected in area Maison
0|gladys   | Access with token to user Gurwan
0|gladys   | User 1 still detected in area Maison
0|gladys   | User 1 still detected in area Maison
0|gladys   | Access with token to user Gurwan
0|gladys   | User 1 still detected in area Maison
0|gladys   | Access with token to user Gurwan
0|gladys   | User 1 still detected in area Maison
0|gladys   | House : checkUsersPresence

#28

Salut a vous :slight_smile:
Je rencontre également un léger problème de communication snips/gladys.
Snips envoie bien mes phrases à l’intent pushToBrain, de ce coté pas d’erreur.
Dans les logs de gladys en revanche, l’intent est reconnue mais il y a une erreur après que je ne comprends pas car je ne m’y connais pas assez :

0|gladys | Snips : New message in topic hermes/hotword/default/detected
0|gladys | Snips : New message in topic hermes/intent/JeanPhilippe:pushToGladysBrain
0|gladys | MQTT : snips handler : fail to handle incoming message on topic hermes/intent/JeanPhilippe:pushToGladysBrain
0|gladys | TypeError: Cannot set property ‘session’ of undefined
0|gladys | at Object.setSessionId (/home/pi/gladys/api/hooks/snips/lib/snips.shared.js:31:47)
0|gladys | at module.exports (/home/pi/gladys/api/hooks/snips/lib/snips.handler.js:17:23)
0|gladys | at MqttClient. (/home/pi/gladys/api/hooks/snips/lib/snips.connect.js:27:15)
0|gladys | at emitThree (events.js:136:13)
0|gladys | at MqttClient.emit (events.js:217:7)
0|gladys | at MqttClient._handlePublish (/home/pi/gladys/api/hooks/snips/node_modules/mqtt/lib/client.js:792:12)
0|gladys | at MqttClient._handlePacket (/home/pi/gladys/api/hooks/snips/node_modules/mqtt/lib/client.js:282:12)
0|gladys | at process (/home/pi/gladys/api/hooks/snips/node_modules/mqtt/lib/client.js:238:12)
0|gladys | at Writable.writable._write (/home/pi/gladys/api/hooks/snips/node_modules/mqtt/lib/client.js:248:5)
0|gladys | at doWrite (/home/pi/gladys/api/hooks/snips/node_modules/readable-stream/lib/_stream_writable.js:237:10)
0|gladys | at writeOrBuffer (/home/pi/gladys/api/hooks/snips/node_modules/readable-stream/lib/_stream_writable.js:227:5)
0|gladys | at Writable.write (/home/pi/gladys/api/hooks/snips/node_modules/readable-stream/lib/_stream_writable.js:194:11)
0|gladys | at Socket.ondata (_stream_readable.js:639:20)
0|gladys | at emitOne (events.js:116:13)
0|gladys | at Socket.emit (events.js:211:7)
0|gladys | at addChunk (_stream_readable.js:263:12)
0|gladys | at readableAddChunk (_stream_readable.js:250:11)
0|gladys | at Socket.Readable.push (_stream_readable.js:208:10)
0|gladys | at TCP.onread (net.js:601:20)

Pour le paramètre SNIPS_WAKEWORDS je ne savais pas quoi mettre, j’ai mis ça : gladys_1:1
Est-ce grave docteur ?
Le module n’est peut être pas totalement compatible, j’ai lu sur le README du module qu’il fallait gladys 3.11.7 mini, mais d’après moi la dernière version est 3.11.6, c’est le problème ?
Merci ^^


#29

Voici les logs du service snips-skill-server :

janv. 06 18:09:38 gladys snips-skill-server[19008]: INFO:snips_skill_server_lib::runner            : [heure][err] hermes_python.ffi.utils.LibException: Could not create hermes MQTT handler: Error(Io(Os { code: 111, kind: ConnectionRefused, message: "Connection refused" }), State { next_error: None, backtrace: None })
janv. 06 18:09:38 gladys snips-skill-server[19008]: INFO:snips_skill_server_lib::runner            : [heure][err]
janv. 06 18:09:38 gladys snips-skill-server[19008]: INFO:snips_skill_server_lib::runner            : [heure][err] Could not start MQTT client on localhost:1883
janv. 06 18:09:38 gladys snips-skill-server[19008]: INFO:snips_skill_server_lib::runner            : [heure][err]  -> caused by: Could not start MQTT client on localhost:1883
janv. 06 18:09:38 gladys snips-skill-server[19008]: INFO:snips_skill_server_lib::runner            : [heure][err]  -> caused by: Connection refused (os error 111)
janv. 06 18:09:38 gladys snips-skill-server[19008]: INFO:snips_skill_server_lib::runner            : [heure][err]

Encore cette histoire de MQTT…

@jojolll : tu as fait quoi comme config ?
@joeypic : peux-tu poster tes fichiers de config ou expliquer comment tu as configuré MQTT stp ?

Merci à vous !


#30

Config c’est a dire ? gladys est installée sur mon RPI3B+, image raspbian sur laquelle j’ai tout installé manuellement. Normalement j’ai tout a jour, et je n’ai pas rencontré le même problème que toi avec snips, “sam” m’a tout installé correctement a priori :wink:


#31

Tu as installé le module MQTT du store de Gladys ?


#32

Non juste le module de Jean-Phillipe.


#33

Le param SNIPS_WAKEWORDS doit corresondre au nom du wakeword de snips, si tu n’as pas personnalisé ton wakeword, le nom doit être default.

Il te donc mettre default:1

Aucun lien avec la version Gladys pour ce problème la normalement.

@Gurwan c’est curieux, utilises-tu un mosquitto installé par tes soins avant d’installer snips ? Pour ma part, c’est snips qui a installé mosquitto


#34

Merci ! Je n’avais pas bien compris ce qu’il fallait mettre ^^
En revanche cela ne change en rien l’erreur TypeError: Cannot set property 'session' of undefined


#35

@Gurwan c’est curieux, utilises-tu un mosquitto installé par tes soins avant d’installer snips ? Pour ma part, c’est snips qui a installé mosquitto

J’ai installé le MQTT de Gladys, ça doit venir de là.
Je reteste


#36

Bon, Gladys n’arrive même pas à se connecter sur le MQTT de Snips, je n’ai aucune trace dans les logs


#37

J’ai désinstallé Mosquitto manuellement, fait une réinstallation de Snips mais il installe pas Mosquitto chez moi


#38

Ok je pense voir d’ou vient l’erreur, je n’ai peut etre pas mis ca dans le README.
Il faut que ton satellite snips porte le nom d’une pièce gladys.

Ca se gère dans le fichier /etc/snips.toml

[snips-audio-server]
bind = “@mqtt

Edit: en fait je suis pas sur du tout :smiley: dis moi si ca marche mais j’ai un doute


#39

avec sam status tu as quoi ?


#40

Alors non ça n’a rien changé ^^ j’ai créé une pièce “default” au lieu de changer le nom de snips, mais tout pareil.

Je viens de remarquer que j’avais exactement le même “soucis” si ton app snips n’est pas installée, exemple si j’utilise la météo snips, j’ai la même erreur dans gladys sauf que l’intent n’est pas gladysPushToBrain mais xxxGetWeatherxxx. Fin bon ce n’est pas grave je peux m’en passer pour le moment (bien sur je suis preneur si une solution est trouvée !), en tout cas très cool comme projet :wink:


#41

En relisant tout les messages, je pense quand même qu’un bon tuto aurait été pas mal du coup (en plus cela aurait pu être placé sur la nouvelle documentation Gladys :wink: ).