Mixtral 8x7B - Une Open AI offline meilleure que GPT 3.5 dans Gladys?

Développement
1

Une Open AI dans Gladys ? Si un crazy dev est dans la salle !!! :crazy_face:

A voir c’est apparemment bluffant !!!

2

Je suis pas un grand spécialiste des IA et de leur fonctionnement, mais il est certain que ChatGPT devient une option parmi d’autres.

Moi je lorgne ça : GitHub - mudler/LocalAI: 🤖 The free, Open Source OpenAI alternative. Self-hosted, community-driven and local-first. Drop-in replacement for OpenAI running on consumer-grade hardware. No GPU required. Runs gguf, transformers, diffusers and many more models architectures. It allows to generate Text, Audio, Video, Images. Also with voice cloning capabilities.

1 « J'aime »
3

Eeeehhh super intéressant @guim31, installable en container et plein de features qui serait intéressante d’interfacer avec Gladys…@pierre-gilles si tu nous écoutes ! :crazy_face:

image
image656×569 26.2 KB

1 « J'aime »
4

Très intéressant, mais ça doit pas être très prartiquea utiliser ou rapide a tourner sur un Raspberry…

5

Tu as des versions très légères de un ou 2 Go qui tournent avec moins de 4 Go de RAM Et qui peut sûrement suffire.
Après sur un micro PC ça devrait peut-être plus tourner.

Ça peut donner des idées :

1 « J'aime »
6

Il faut quand même un bon GPU :grin:

7

Tout à fait, et en plus je crois qu’il faut du NVIDIA car il utilise Les Cuda cores, pour une meilleure optimisation.

8

Vu les perfs que ça demande, c’est encore un peu trop overkill je pense, mais ça reste a surveiller de près, car je pense que ça peut réellement devenir intéressant dans pas si longtemps.