How to speak to Gladys with Snips assistant


#62

@Jean-Philippe

Sur snips et sur gladys ?

et doit-je installer le module speak sur gladys ou snips fait les deux TTS et STT?

Merci @phoenix3472


#63

Sur Gladys tu installes le module Snips
Sur Snips tu installes l’application Gladys

:smiley:
Pas besoin du module speak par ailleurs.

Je n’ai d’ailleurs pas indiqué dans le README mais il faut ensuite ajouter snips aux systèmes de notification dans Gladys.


#64

Bonjour @Jean-Philippe

J’ai un problème je suis la procédure à la lettre mais quand je fait un sam devices il me dit qu’il ne voie pas le périférique peux tu m’aider
merci
@phoenix3472


#65

Salut @phoenix3472

Alors pour le coup, c’est plus du coté du forum snips qu’il faut creuser :wink:

Toutefois, ayant eu le même problème, je peux peut etre t’aider.

la commande sam devices chercher les raspberry sur le réseau accessible avec le user pi.
Si ca n’est pa le cas, il ne verra rien, mais peu importe tu peux simplement faire un sam connect user@host, ca marchera.

La commande sam devices est la pour faciliter la tâche.


#66

Salut @Jean-Philippe

Oui effectivement il prend le user password par default et moi j’ai changer de mot de passe pour des raisons évidentes de sécurité merci beaucoup
@phoenix3472


#67

Excuse moi encore @Jean-Philippe

je sais pas quoi donner il me demande un paramètre mqtt_host je sais pas quoi lui mettre merci
@phoenix3472


#68

Qui te demande cela ? Snips ?


#69

Oui en console ssh il m’a demandé les parametres freebox puis mqtt_host puis mqtt_port puis site_id puis led_bri puis il m’a demander de faire sam watch et là il tourne sur watching on localhost:1883 (mqtt) voila je sais pas pourquoi ? enfin a priori il install le snips-app-skill-respeaker


#70

Je n’ai pas eu tout ce processus pour ma part, apres qu’il watch sur localhost c’est pas genant, le tout étant que Gladys vienne ecouter sur le meme broker mqtt (si tout est sur le meme rpi, ce sera aussi localhost)


#71

dit moi pour installer ton module dans gladys je dois mettre quoi dans slug merci


#72

snips

tout simplement :slight_smile:


#73

Bonjour tout le monde,

Je viens contribuer à mon problème. J’avais pas bien compris comment installer le module, du coup, j’avais fait un git-clone dans la console… En fait, il faut utiliser l’installation avancée des modules de Gladys. Depuis, ça marche bien mieux ! :slight_smile:

Merci à ceux qui ont pris le temps de m’aider :wink:


#74

Du coup, je reviens à la charge. J’ai personnalisé le wakeword et ça ne fonctionne plus. J’ai la même erreur que @jojolll

@Jean-Philippe : le fait de mettre “hey_snips” ne fonctionne pas a priori. As-tu une idée, stp ?

Voici les logs de Snips :

[09:54:13] [Hotword] detected on site **default** , for model **your_hotword_name**
[09:54:13] [Asr] was asked to stop listening on site **default**
[09:54:13] [Hotword] was asked to toggle itself 'off' on site **default**
[09:54:13] [Dialogue] session with id '305af87c-ecaf-4a89-99dd-7ae90c8c9e68' was started on site **default**
[09:54:13] [AudioServer] was asked to play a wav of 41.1 kB with id 'd8a7f32a-e7cb-40ca-af56-22c00bd9715d' on site **default**
[09:54:14] [AudioServer] finished playing wav with id 'd8a7f32a-e7cb-40ca-af56-22c00bd9715d'
[09:54:14] [Asr] was asked to listen on site **default**
[09:54:16] [Asr] captured text " **comment ca va** " in 2.0s
[09:54:16] [Asr] was asked to stop listening on site **default**
[09:54:16] [AudioServer] was asked to play a wav of 93.1 kB with id '8bf268fc-4d0b-4747-89ad-e425c2e2fc1c' on site **default**
[09:54:17] [AudioServer] finished playing wav with id '8bf268fc-4d0b-4747-89ad-e425c2e2fc1c'
[09:54:17] [Nlu] was asked to parse input "comment ca va"
[09:54:17] [Nlu] detected intent **JeanPhilippe:pushToGladysBrain** with probability **1.000** for input " **comment ca va** "
**[09:54:17]** [Dialogue] New intent detected **JeanPhilippe:pushToGladysBrain** with probability **1.000**
[09:54:22] [Dialogue] session with id '305af87c-ecaf-4a89-99dd-7ae90c8c9e68' was ended on site **default** . The session was ended because one of the component didn't respond in a timely manner
[09:54:22] [Asr] was asked to stop listening on site **default**
[09:54:22] [Hotword] was asked to toggle itself 'on' on site **default**

Et les logs de Gladys :

0|gladys   | Snips : New message in topic hermes/intent/JeanPhilippe:pushToGladysBrain
0|gladys   | { sessionId: '305af87c-ecaf-4a89-99dd-7ae90c8c9e68',
0|gladys   |   customData: null,
0|gladys   |   siteId: 'default',
0|gladys   |   input: 'comment ca va',
0|gladys   |   asrTokens: [ [ [Object], [Object], [Object] ] ],
0|gladys   |   intent: { intentName: 'JeanPhilippe:pushToGladysBrain', probability: 1 },
0|gladys   |   slots: [] }
0|gladys   | MQTT : snips handler : fail to handle incoming message on topic hermes/intent/JeanPhilippe:pushToGladysBrain
0|gladys   | TypeError: Cannot set property 'session' of undefined
0|gladys   |     at Object.setSessionId (/home/pi/gladys/api/hooks/snips/lib/snips.shared.js:31:47)
0|gladys   |     at module.exports (/home/pi/gladys/api/hooks/snips/lib/snips.handler.js:19:23)
0|gladys   |     at MqttClient.<anonymous> (/home/pi/gladys/api/hooks/snips/lib/snips.connect.js:27:15)
0|gladys   |     at emitThree (events.js:136:13)
0|gladys   |     at MqttClient.emit (events.js:217:7)
0|gladys   |     at MqttClient._handlePublish (/home/pi/gladys/api/hooks/snips/node_modules/mqtt/lib/client.js:792:12)
0|gladys   |     at MqttClient._handlePacket (/home/pi/gladys/api/hooks/snips/node_modules/mqtt/lib/client.js:282:12)
0|gladys   |     at process (/home/pi/gladys/api/hooks/snips/node_modules/mqtt/lib/client.js:238:12)
0|gladys   |     at Writable.writable._write (/home/pi/gladys/api/hooks/snips/node_modules/mqtt/lib/client.js:248:5)
0|gladys   |     at doWrite (/home/pi/gladys/api/hooks/snips/node_modules/readable-stream/lib/_stream_writable.js:237:10)
0|gladys   |     at writeOrBuffer (/home/pi/gladys/api/hooks/snips/node_modules/readable-stream/lib/_stream_writable.js:227:5)
0|gladys   |     at Writable.write (/home/pi/gladys/api/hooks/snips/node_modules/readable-stream/lib/_stream_writable.js:194:11)
0|gladys   |     at Socket.ondata (_stream_readable.js:639:20)
0|gladys   |     at emitOne (events.js:116:13)
0|gladys   |     at Socket.emit (events.js:211:7)
0|gladys   |     at addChunk (_stream_readable.js:263:12)
0|gladys   |     at readableAddChunk (_stream_readable.js:250:11)
0|gladys   |     at Socket.Readable.push (_stream_readable.js:208:10)
0|gladys   |     at TCP.onread (net.js:594:20)

#75

Je vais corriger le module et le readme asap. :slight_smile:

En fait tu as créé un hotword personnalisé mais tu as laissé le nom de base proposé par snips:

your_hotword_name

Peu importe, en revanche, dans Gladys, il faut associer ce nom à ton user dans le paramètre SNIPS_WAKEWORDS

your_hotword_name:1

Le default hotword, c’est hey_snips, c’est pour ca que je disais pour tester il fallait mettre hey_snips:1


#76

Effectivement, j’ai suivi le tutoriel de Snips à la lettre ^^

En revanche, ça ne fonctionne pas avec “your_hotword_name”. Peut-être que je m’y prends mal pour tester ? Faut-il redémarrer Gladys après un changement dans les paramètres ? Faut-il mettre à jour le fichier snips.toml également ?

Merci


#77

Alors normalement tu dois déclarer ton hotword dans le fichier snips.toml comme le tuto l’indique.
Coté Gladys,essaye de redémarrer mais ca ne devrait pas etre necessaire, si c’est le cas, je dois corriger un truc.


#78

ça à l’air super top, mais ça à l’air aussi bien galère à mettre en place non ? Quand je vois tous les commentaires, ça fait peur quand même pour quelqu’un qui n’y connait pas grand chose …

Petite question comme ça : sam se connecte directement sur le port 22 on dirait ? mais si l’on change ce port pour plus de sécurité, comment ça se passe du coup ?


#79

La partie Snips est pas super user friendly c’est sur, disons que c’est pour les initiés à la ligne de commande malheureusement.

Ils vendent des kits tout pret on dirait mais ca n’excluse pas la partie création de son hotword personnalisé.
De plus, si tu as plusieurs satellite, il faut les faire pointer sur seul serveur mosquitto pour que gladys écoute tous les satellites.

Concernant le port 22, je n’en ai aucune idée :confused:


#80

salut @Jean-Philippe

Pourquoi je ne trouve pas dans les notification de gladys ton module du coup je n’arrive a l’entendre

et pour le hotword dans snips.toml voila ce que j’ai :slight_smile:

[snips-common]
# bus = "mqtt"
# mqtt = "localhost:1883"
# audio = ["+@mqtt"]
# assistant = "/usr/share/snips/assistant"
# user_dir = "/var/lib/snips"

## MQTT authentication
# mqtt_username = ""
# mqtt_password = ""

## MQTT TLS configuration
# mqtt_tls_hostname = ""
# mqtt_tls_disable_root_store = false
# mqtt_tls_cafile = ""
# mqtt_tls_capath = ""
# mqtt_tls_client_cert = ""
# mqtt_tls_client_key = ""

[snips-analytics]

[snips-asr]
# no_fst_map = true
# beam_size = 8
# model = "/usr/share/snips/asr"
# audio = ["+@mqtt"]
# partial = false
# partial_period_ms = 250

[snips-asr-google]
# credentials = "/usr/share/snips/googlecredentials.json"
# audio = ["+@mqtt"]

[snips-audio-server]
# frame = 256
# bind = "default@mqtt"
# mike = "Built-in Microphone"
# disable_playback = false
# disable_capture = false

[snips-dialogue]
# resources = "/usr/share/snips/dialogue"
# session_timeout = 15
# lambda_timeout = 5
# retry_count = 3
# sound_feedback_disabled_default = false

[snips-hotword]
# model = "/usr/share/snips/hotword"
# hotword_id = "default"
# sensitivity = "0.5"
# audio = ["+@mqtt"]
# no_vad_inhibitor = false
# vad_messages = false

[snips-injection]
#asr_model = "/usr/share/snips/asr"
#nlu_engine = "/usr/share/snips/nlu_engine"

[snips-nlu]

[snips-tts]
## Choose one tts provider (defaults to picotts)
# provider = "picotts"
# provider = "makerstts"
# provider = "customtts"
## customtts specific configuration (here configured to use picotts using the en-US language)
## available placeholder variables : %%OUTPUT_FILE%%, %%LANG%%, %%TEXT%%
# customtts = { command = ["pico2wave", "-w", "%%OUTPUT_FILE%%", "-l", "en-US", "%%TEXT%%"] }

J’ai à priori tout en commentaire avec des # devant toutes les lignes ???

peux tu m’aider merci

@phoenix3472


#81

Peux-tu lancer la Configuration sur le module ?
Normalement ca le fait pourtant à l’install…