Mixtral 8x7B - Une Open AI offline meilleure que GPT 3.5 dans Gladys?

Une Open AI dans Gladys ? Si un crazy dev est dans la salle !!! :crazy_face:

A voir c’est apparemment bluffant !!!

Je suis pas un grand spécialiste des IA et de leur fonctionnement, mais il est certain que ChatGPT devient une option parmi d’autres.

Moi je lorgne ça : GitHub - mudler/LocalAI: 🤖 The free, Open Source OpenAI alternative. Self-hosted, community-driven and local-first. Drop-in replacement for OpenAI running on consumer-grade hardware. No GPU required. Runs gguf, transformers, diffusers and many more models architectures. It allows to generate Text, Audio, Video, Images. Also with voice cloning capabilities.

1 Like

Eeeehhh super intéressant @guim31, installable en container et plein de features qui serait intéressante d’interfacer avec Gladys…@pierre-gilles si tu nous écoutes ! :crazy_face:

1 Like

Très intéressant, mais ça doit pas être très prartiquea utiliser ou rapide a tourner sur un Raspberry…

Tu as des versions très légères de un ou 2 Go qui tournent avec moins de 4 Go de RAM Et qui peut sûrement suffire.
Après sur un micro PC ça devrait peut-être plus tourner.

Ça peut donner des idées :

1 Like

Il faut quand même un bon GPU :grin:

Tout à fait, et en plus je crois qu’il faut du NVIDIA car il utilise Les Cuda cores, pour une meilleure optimisation.

Vu les perfs que ça demande, c’est encore un peu trop overkill je pense, mais ça reste a surveiller de près, car je pense que ça peut réellement devenir intéressant dans pas si longtemps.