Umfrage: Welches ist Ihr bevorzugtes KI-Modell in Gladys?

das sieht super aus! danke.

Ich hatte diesen Thread in letzter Zeit nicht gelesen… Das ist ein großer Fortschritt.
Das erinnert mich an meine Prompts in Antigravity, wo er, wenn ich eine Aktion anfordere, zunächst eine Anfrage stellt, um das passende Werkzeug für meine Anfrage zu bestimmen, und dann mit diesen Werkzeugen beginnt. Gladys wird also nach und nach zu einem Agenten! :smiley:

Alles ist in Gladys Assistant 4.84 verfügbar: Gladys Assistant 4.84 : Les intégrations externes sont là 🚀

« Gib mir eine Tabelle mit den Temperaturen im Haus »

Und das auch noch ultra-schnell!!

Ich habe es getestet und es funktioniert gut!

Allerdings finde ich die Bezeichnungen € wirtschaftlich · €€ mittel · €€€ premium etwas verwirrend, ein Nutzer könnte denken, dass ihn jede Frage Geld kostet :confused:

Hallo,

Ich möchte meine Gladys mit meinem lokalen Server verbinden, der auf einem Qwen3.5 122B läuft. Gibt es dafür bereits eine beschriebene Prozedur?

Ich könnte euch ein Feedback zu dieser Konfiguration geben (zwar etwas teuer, aber lokal).

Gibt es ein Testprotokoll, um die verschiedenen Modelle miteinander vergleichen zu können?

Hallo @l.dolle

Ich bin sehr an deiner Rückmeldung interessiert, ich, der gerade ein Angebot für ein Projekt für einen KI-Server mit VLM + LLM erstellt! Es fasziniert mich sehr, Qwen3.5-122B lokal laufen zu sehen.

Falls es nicht zu indiskret ist, könntest du ein bisschen die Infrastruktur detaillieren? Maschinentyp, Menge und Art des RAM (unifiziert wie bei Mac/Strix Halo oder klassisches DDR5 + GPU?), verwendete Quantisierung und der Inference-Engine (Ollama, llama.cpp, vLLM…).

Und vor allem, wenn du Zahlen aus verschiedenen Blickwinkeln hast: die Zeit bis zum ersten Token und die Generierungsgeschwindigkeit, mit und ohne den Denkmodus. Das ist wahrscheinlich der entscheidende Faktor für eine Smart-Home-Nutzung, bei der man eine quasi sofortige Antwort erwartet.

Vielen Dank im Voraus!

EDIT: Ich lasse derzeit auf meinem Arbeitslaptop kleine Modelle unter LM Studio laufen, sehr praktisch für Tests!

Hallo @Terdious

Der Server ist ein MGKtec evo2, ausgestattet mit einem AMD Strix Halo und 128 GB einheitlichem RAM.

Ich habe Windows deinstalliert (ich sah keinen Sinn darin, einen lokalen Server zu nutzen, wenn es nur dazu dient, alle meine Daten an Microsoft zu senden) und musste Fedora Server installieren (das den Linux-Kernel 7.1 verwendet), da Debian 13 nur den Linux-Kernel 6.12 verwendet und daher den Strix Halo nicht erkennt.

Ich habe die gesamte KI-Umgebung mit ODS (Osmantic Dream Server) installiert, den ich dir empfehle, dir anzusehen.

Hier ist ein Screenshot meines Systems im Leerlauf.

Ich hoffe, ich habe deine Fragen beantwortet.

Zögere nicht, wenn du weitere Informationen benötigst.

P.S.: Mir fehlen Testprotokolle, um meinen Server zu bewerten. Wenn du welche hast, bin ich interessiert.

Hallo @l.dolle, das ist aktuell nicht möglich, aber ich denke, wir könnten eine API zu den externen Integrationen hinzufügen, damit es zu einer externen Integration werden kann!

Ich habe eine Anfrage gestellt: Intégrations externes : pouvoir créer des intégrations de type "fournisseur IA"