Salut à tous 
C’est un sujet que je voulais faire depuis longtemps, notamment la partie « Poser une question à l’IA depuis les scènes » (même sans image) pour pouvoir avoir des notifications proactives venant de l’IA (futuriste!)
Comme j’avais le nez dans la partie ChatGPT ce matin j’ai développé cette fonctionnalité ce qui n’était pas très compliqué avec la nouvelle API lié à la vision de GPT-4o mini
Demander à l’IA de décrire une image de caméra
Dans une scène, il devient possible de demander à l’IA de réagir à une image de caméra :
Ce qui m’envoie ensuite une notification sur mon téléphone, par exemple ici sur la caméra il n’y avait rien :
Demander à l’IA de faire une action en fonction d’une caméra
Si on va plus loin, il est possible de prendre la caméra du garage, et de réagir en fonction de la voiture qui vient d’arriver :
J’ai pris une image sur internet d’un garage avec cette voiture exactement, et j’obtiens :
Maintenant, changeons la description de la voiture :
Cette fois-ci, l’IA comprend ce qui se passe et me préviens :
C’est assez dingue !!!
Les possibilités sont infinies
Cette fonctionnalité est assez futuriste, et comme il est possible d’injecter des variables dans le message, elle permet plein de choses
- Analyser le bulletin météo du jour et me rédiger un petit résumé envoyé sur mon téléphone tous les matins à 8H
- Si l’alarme retentit chez moi, me faire un message qui récapitule ce qui se passe : états des capteurs, analyse d’image, etc… tout combiné en un seul message !
- Analyse de n’importe quelle image, que l’image vienne d’une caméra chez moi, à un flux en ligne, tout est possible
- et plein d’autres !!
Qu’en pensez-vous ?
Edit: Posté sur Twitter ici