Mixtral 8x7B - Eine bessere Offline-Open-AI als GPT 3.5 für Gladys?

Eine Open AI in Gladys? Wenn ein verrückter Entwickler im Raum ist!!! :crazy_face:

Das muss man sich ansehen, es ist anscheinend verblüffend!!!

Ich bin kein großer Experte für KI und deren Funktionsweise, aber es ist sicher, dass ChatGPT eine von vielen Optionen wird.

Ich schaue mir das hier an: GitHub - mudler/LocalAI: LocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required. · GitHub

Eeeehhh super interessant @guim31, installierbar in Container und viele Funktionen, die interessant wären, um sie mit Gladys zu verknüpfen…@pierre-gilles wenn du uns hörst! :crazy_face:

Sehr interessant, aber das muss auf einem Raspberry Pi wohl nicht sehr praktisch oder schnell laufen.

Du hast sehr leichte Versionen von 1 oder 2 GB, die mit weniger als 4 GB RAM laufen und die sicherlich ausreichen.
Allerdings könnte es auf einem Mini-PC vielleicht nicht so gut laufen.

Das könnte Ideen geben:

Man braucht trotzdem eine gute GPU :grin:

Genau, und ich glaube, man braucht NVIDIA, weil es die CUDA-Kerne nutzt, für eine bessere Optimierung.

Aufgrund der geforderten Leistung ist es meiner Meinung nach noch etwas übertrieben, aber es lohnt sich, das ganz genau im Auge zu behalten, denn ich glaube, dass es tatsächlich in nicht allzu ferner Zukunft interessant werden könnte.