Snips : alternative à la reconnaissance vocale Google?


#21

Il y a effectivement deux parties dans snips; la partie voix to text et ensuite traduire le texte en actions.
Avec le retour d’un None intent (avec la phrase non traduite en action), il y aurait la possibilité de brancher sur le brain actuel implementé avec la techno actuelle ou la lib NLP.
Cela permettrait d’avoir la reconnaissance vocale en local et d’avoir le chat.


#22

Salut à tous,
J’ai rencontrer une équipe de dev aujourd’hui qui bosse sur un chatbot qui semble vraiment prometteur avec reconnaissance de de la personne par la voix, mémoire des dernières conversations avec la personne et réponses adaptés en fonction de cette mémoire.

Je vous tiendrais au courant des avancées. Je pense qu’ils vont publier d’ici 2-3 mois


#23

La reco de l’utilisateur par la voix, c’est cool ça !
Ça pourra permettre d’avoir un gladys-voice multi utilisateur :smiley:


#24

Je vous tiendrais au courant car il y a pas mal de trucs qui pourrai aller avec gladys.


#25

Hello, un peu de news sur mon travail avec Snips.
Ca me plait déjà :slight_smile:

J’ai commencé à écrire ce que Snips appelle une application. Le but étant que cette application envoie tout ce qu’elle entends à Gladys via mqtt, et il me reste à écrire un module Gladys qui va écouter ce qui vient de snips pour filer ca au brain.

Je pense être sur la bonne piste :wink:


#26

Ca marche pas mal, j’ai écris un module qui se connecte donc en mqtt et renvoie le texte recu au brain.classify.

Ca marche plutôt bien sur les quelques essais que j’ai fait.
Cependant, je vais faire une PR à @pierre-gilles car j’ai modifié le brain.classify et les parser.

En effet, l’idée est que chaque satellite Snips envoie l’info avec la pièce ou il est, le brain pouvant ainsi répondre dans la bonne pièce ou bien allumer la lumière dans la bonne pièce si l’on ne spécifie pas de pièce.

Par ailleurs, bien que Snips sache retrouver un deviceType, une room ou bien une date, j’ai choisi de laisser ce travail à Gladys qui le fait bien, j’ai juste rajouté un parser d’item, par exemple pour une liste de course, Snips identifie un élément et l’envoie à Gladys qui le parse et le met dans un tableau item, qu’un module pourra utiliser plus tard. (certe on pourrait le mettre dans Gladys, le tout étant de gérer une table des mots connus, car il semblerait que Snips stocke les mots connus en interne. Tout se fait à l’apprentissage et est stockés en local. J’ai essayés pour voir et il ne reconnait que les mots appris.)

Après, c’est tendencieux, car la j’ai mis le slot (terme Snips pour une variable dans une phrase) item qui peut valoir n’importe quoi dés lors que derrière un module utilise cela pour son boulot, ca peut faire des trucs folkloriques.

Par exemple, admettons que le module Kodi utilise item pour signifier:
lance moi Spiderman dans le salon

Et qu’un module Liste de course l’utilise pour son panier avec:
ajoute une pizza sur la liste

On pourrait demander à Kodi de lancer une pizza dans le salon ou bien de mettre Spiderman sur la liste de courses, et le brain accepterait.

Après, soit dans le parser, on décide de parser plein de trucs, actuellement on a :

  • channel
  • room
  • deviceType
  • time
  • house

Et on pourrait avoir:

  • color
  • movie
  • shoppinglist
  • …etc

Ou bien alors, pour ne pas avoir trop de complexité qui changerait toutes les semaines, les extra-core sont tous dans un truc générique de type generic

A voir…

Au final on pourrait laisser l’intelligence dans Gladys et simplement utiliser Snips comme moteur de Speech To Text.
Le tout étant d’entrainer Snips et Gladys finalement avec les mêmes phrases, en fait dans Snips, j’ai créé une application avec un seul Intent (intention) qui se charge de tout pousser dans mosquitto.

Et dans cette appli, je lui ai collé plein de phrases en vrac du style:

  • Allume la lumière du salon
  • Joue moi de la musique
  • Ajoute du pain sur la liste de courses

La ou en théorie, la logique Snips, c’est plutôt qu’un groupe de phrase = un seul intent (en fait, un service + function pour Gladys en fait)


#27

Tu me fais saliver @Jean-Philippe :flushed:


#28

Génial @Jean-Philippe! Super boulot!


#29

J’en bave aussi d’avance, j’ai laissé un peu de côté Gladys car la voix est ce qui m’interesse, mais je veux pas trop avoir à faire avec Google…
(Sinon j’aurai déjà pris une Ghome ou un écho…)
Merci jean philippe pour ton exploration !!


#30

:slight_smile:

Bien que je n’ai pas délaissé Gladys, j’ai les mêmes attentes et exigences, pas d’Alexa, Google ou Siri à la maison.

Les tests que j’ai fait jusque la sont très concluant par rapport aux tests que j’avais fait avec gladys-voice pluggé à Google.


#31

Pareil, je suis dans les starting-blocks !!!