Agent IA, serveur MCP

Bonjour à tous,

Ces dernières années on a vu passer une grosse vague sur l’IA et plus récemment on parle de plus en plus des agents IA, on est d’ailleurs surement nombreux à en avoir déjà utilisé.

Je suis entré dans l’univers des serveurs MCP et je me disais que ça serait bien utile d’en avoir un directement dans Gladys. Pour ceux qui ne connaissent pas, MCP c’est pour Model Context Protocol, c’est un protocole imaginé par Anthropic, ceux qui sont derrière les modèles Claude. Il permet d’exposer des outils et fonctions que les agents peuvent appeler pour avoir des informations supplémentaires ou interagir avec des appareils du monde réels. C’est un protocole ouvert, la plupart des grands noms du domaine ont commencé à l’implémenter après Anthropic dont OpenAI, et dernièrement c’est Perplexity.

J’ai développé une première version du service qui fait office de serveur. Il permet pour l’instant de :

  • récupérer les valeurs des capteurs (température, humidité, ouverture…)
  • regarder les caméras, je ne suis pas sur que ce soit possible d’afficher dans le chat agent l’image de la caméra mais selon les capacités du modèle utilisé, il peut vous décrire ce qu’il voit
  • allumer/éteindre les lumières d’une pièce

Je vous laisse voir la démonstration dans mon environnement de dev (les températures ne sont pas forcément pertinentes, ainsi que les caméras qui sont des caméras publiques).

Dans la démo, j’utilise l’agent associé à Github Copilot dans VSCode mais normalement si vous avec Claude ou un autre agent compatible MCP sur votre ordinateur ça devrait fonctionner.

Il faut encore améliorer les fonctions exposées je pense, mais ça me semble déjà pas mal et on peut imaginer pas mal de choses, il faut aussi surement mettre plus de sécurité pour authentifier l’agent qui se connecte.

La PR est là

Dans les prochaines heures une image docker sera disponible bertrandda/gladys:mcp-server

Pour l’instant c’est uniquement le backend donc rien de visible dans la liste des services. Pour tester vous pouvez utiliser la route /api/v1/service/mcp/proxy dans la configuration de votre agent. Attention la route n’est pas sécurisée donc ne testez pas si votre machine que vous utilisez pour faire tourner Gladys est exposée à internet.

N’hésitez pas à tester et dire ce que vous en pensez.

9 « J'aime »

Je n’y connais pas grand chose à la technicité de tout ça, mais je trouve la démo vidéo très interessante !!

2 « J'aime »

Bonjour @bertrandda

J’avoue être vraiment bluffé par la démo :heart_eyes: Superbe boulot :slight_smile:

Je suis (AHMA comme plein d’autres ici …) très intéressé par plus d’informations techniques, par exemple le matériel utilisé, ou encore comment interconnecter Gladys et le serveur MCP.

Pourrait-on également imaginer remplacer le prompt manuel par une solution STT, car j’implémente déjà une solution audio « maison » chez moi qui supporte le multi-room, avec Gladys qui me répond, et on est là pas très loin de pouvoir arriver à discuter naturellement avec Gladys :+1:

1 « J'aime »