Matterbridge + IA = Revolution für Gladys 🚀

[pierre-gilles]

Hallo zusammen,

Letzte Woche habe ich viel mit Matterbridge herumgespielt, und ich hatte eine echte Offenbarung, die ich euch hier teilen wollte

Wir können jedes Gerät Matter-kompatibel machen (und damit auch Gladys-kompatibel), und das ganz ohne Programmieren!

Ein bisschen Hintergrund

Ich habe euch bereits von Matterbridge erzählt, einem Projekt, das es ermöglicht, Plugins zu installieren, um nicht-Matter-Geräte in Matter zu integrieren.

Heute ermöglicht Matterbridge euch bereits, in Gladys zu nutzen:

• Somfy-Rolladen
• Shelly-Geräte der Generation 1, 2 und 3
• bald euren Roborock-Saugroboter

Aber Matterbridge ist noch jung und hat nicht für alles ein Plugin.

Das Problem, das es löst

In Gladys habe ich mich immer für den Ansatz entschieden, maßgeschneiderte « große Integrationen » zu entwickeln, wobei ich viel Zeit in die Benutzererfahrung und die Oberfläche investiere.

Aber einige von euch haben sehr spezifische Bedürfnisse: seltene Geräte, manchmal sogar nicht mehr erhältliche. Für diese Produkte ist es schwierig, die Entwicklungszeit einer nativen Integration zu rechtfertigen, die nur einer kleinen Anzahl von Nutzern dient.

Und wenn diese Integrationen einfache Matterbridge-Plugins wären, die von einer KI entwickelt wurden?

Das Matterbridge-Plugin-System ist gut strukturiert, gut dokumentiert und hat viele Beispiele.

Und oft existieren diese Integrationen bereits anderswo im Open Source (Node-RED, Home Assistant): Man kann die KI einfach bitten, ein Node-RED-Plugin in ein Matterbridge-Plugin zu übersetzen.

Es gibt nichts zu erfinden, es ist nur « Code übersetzen »!

Was ich getestet habe

Ich habe ein Matterbridge-Plugin für meine Mitsubishi-Klimaanlage entwickelt, ohne eine einzige Codezeile zu schreiben.

Ich zeige euch alles hier:

Comment rendre n'importe quel appareil compatible Matter ? (Merci l'IA !)

Und jetzt?

Der logische nächste Schritt: Was, wenn wir die Erstellung von Matterbridge-Plugins vollständig automatisieren?

Stellt euch eine « Plugin-Fabrik » vor, gesteuert von Claude Code, die auf einem Server läuft, GitHub-Tickets abarbeitet und Plugins ohne menschliches Zutun entwickelt.

Mit einem solchen System könnten wir die Entwicklung von Integrationen industrialisieren und den Abstand zwischen Gladys und Projekten wie Home Assistant verringern.

Ich denke, das ist eine echte Revolution. Und es bestärkt mich in meiner Entscheidung, dieses Jahr viele Ressourcen in Matter zu investieren, denn das ist wirklich die Zukunft des Smart Homes.

Was denkt ihr?

[guim31]

Ich finde, das ist eine sehr gute Analyse, denn in ähnlichem Sinne habe ich schon einmal KI genutzt, um einen Szenenablauf, den ich im Kopf hatte, zu „übersetzen“ und in JSON umzuwandeln, das in Node-red importiert werden kann. Ich finde, das ist eine sinnvolle Anwendung von KI.

Ich frage mich nur, wie man das Ganze in Bezug auf Effizienz absichern kann: Man müsste Tests integrieren, um sicherzustellen, dass die generierten Plugins relevant und funktionsfähig sind, oder? Oder machst du das manuell?

Denn ich habe das Gefühl, dass das schnell ein schönes Chaos werden könnte ^^

Jedenfalls ist die Idee sehr interessant und könnte tatsächlich der berühmten „Schwäche“ von Gladys begegnen, nämlich der Menge an Integrationen / unterstützten Geräten

[pierre-gilles]

@guim31

Ich frage mich nur, wie man das in Bezug auf Effizienz sicher macht: Man müsste Tests integrieren, um sicherzustellen, dass die generierten Plugins relevant und funktionsfähig sind, oder? Oder machst du das manuell?

Claude Code ist intelligent genug, um selbst Tests mit einer echten Matterbridge-Instanz durchzuführen. Für Tests auf echter Hardware wird man jedoch zwangsläufig auf Feedback von Nutzern angewiesen sein.

Für mich könnte das über GitHub-Tickets funktionieren: Der Nutzer gibt sein Feedback an Claude Code, und dieser schlägt dann einen Fix vor, bis ein korrektes Ergebnis erreicht ist.

Die Idee wäre wirklich, eine „100% automatisierte“ Kette zu schaffen. Meine Zeit ist zu begrenzt, um alle Plugins manuell zu überprüfen

Ich habe übrigens auch mit dem Gründer von Matterbridge darüber gesprochen, und das scheint ihn auch sehr zu begeistern!

AI Plugin Factory to accelerate Matterbridge ecosystem growth · Luligu...

Jetzt bleibt noch die Frage der Kosten: Wer finanziert die Tokens, die zur Generierung der Plugins benötigt werden?

[bjm]

Kleine Frage: Wird das entwickelte Plugin nur für Gladys nutzbar sein oder kann es auch von allen Systemen genutzt werden, die Matterbridge implementieren?

[Will_71]

Matterbridge ist über das Matter-Protokoll verfügbar. Daher können alle Systeme, die Matter-Geräte integrieren können.

[pierre-gilles]

Ja, genau. Matterbridge ist einfach nur ein Software, die Matter mit jedem beliebigen Protokoll verbindet.

Daher wird das Plugin mit allem funktionieren: Apple Home, Google, Alexa, Gladys, Home Assistant, usw…

[forresst]

@pierre-gilles

Für mich könnte das über GitHub-Tickets funktionieren: Der Benutzer gibt sein Feedback an Claude Code, und dieser schlägt dann eine Korrektur vor, bis ein korrektes Ergebnis erreicht ist.

Die Idee wäre wirklich, eine „100% automatisierte“ Kette anzustreben. Meine Zeit ist leider zu begrenzt, um alle Plugins manuell zu überprüfen

Die Idee erscheint mir ausgezeichnet, allerdings sollte man vielleicht die Plugin-Anfragen nach der Beliebtheit der Anfrage priorisieren. Das heißt, wenn eine bestimmte Anzahl von Benutzern den GitHub-Ticket der Anfrage genehmigt oder „liked“. Mehrere Vorteile daran:

• Eine Kontrolle oder Validierung der Anfrage
• Vermeidung von zu vielen Anfragen an Claude für nicht populäre Anfragen: also Senkung der Kosten für Tokens

@pierre-gilles

Jetzt bleibt noch die Frage der Kosten: Wer finanziert die Tokens, die zur Generierung der Plugins notwendig sind?

Ich weiß nicht, ob es möglich ist, die Kosten von Claude für deine Mitsubishi-Klimaanlage zu ermitteln. Aber wenn wir eine Schätzung hätten, könnte man eine Idee von den Kosten eines Plugins bekommen.

Wenn das Kosten unter einigen Euro darstellt, denke ich, dass mehrere Personen in der Lage wären, beizutragen. (Okay, das umzusetzen, ist vielleicht nicht so einfach …)

[pierre-gilles]

@forresst

Die Idee erscheint mir ausgezeichnet, allerdings sollte man vielleicht die Plugin-Anfragen nach der Beliebtheit der Anfrage priorisieren.

Das hängt ganz vom Kosten ab. Für mich ist der Sinn dieser „Plugin-Fabrik“ gerade, auch weniger beliebte Integrationen abzudecken.

Das Problem bei Abstimmungssystemen ist, dass ein Nutzer mit einem weniger verbreiteten Gerät wahrscheinlich nie ein Plugin bekommen wird… was heute schon bei Gladys der Fall ist

@forresst

Ich weiß nicht, ob es möglich ist, die Kosten für Claude für deine Mitsubishi-Klimaanlage zu ermitteln.

Das war über Windsurf, also nicht ganz transparent, aber um eine grobe Schätzung zu geben, zahle ich 15$ pro Monat. Ich habe das Plugin in einer halben Stunde entwickelt.

Ehrlich gesagt, habe ich den Eindruck, dass dieses Preis-Leistungs-Verhältnis ziemlich aggressiv ist und wahrscheinlich subventioniert wird, um Entwickler anzulocken. Bei Claude Code in der CLI wird es sicherlich teurer sein.

@forresst

Wenn das Kosten unter einigen Euro darstellt, denke ich, dass mehrere Personen in der Lage wären, beizutragen.

Ich denke auch, dass das eine gute Spur ist. Wenn wir feststellen, dass ein Plugin 5 bis 10$ kostet, ist das leicht finanzierbar. Die meisten Leute wären bereit, das zu zahlen, um ihr Gerät dauerhaft in Gladys unterstützt zu haben

[guim31]

@pierre-gilles

Ich denke auch, dass das eine gute Idee ist. Wenn sich herausstellt, dass ein Plugin 5 bis 10 $ kostet, ist das durchaus finanzierbar. Die meisten Leute wären bereit, das zu zahlen, um ihr Gerät dauerhaft in Gladys unterstützt zu haben

Ich bestätige, dass ich persönlich, wenn ein Plugin 10 oder sogar 15 € kostet, direkt bezahlen würde! Vielleicht repräsentiere ich nicht die Mehrheit der Leute, aber im Grunde, wenn mir ein Plugin wirklich unersetzlich ist, wäre ich sogar bereit, das Doppelte dafür auszugeben ^^

[pierre-gilles]

@guim31

Ich bestätige, dass ich persönlich, wenn ein Plugin 10 oder sogar 15€ kostet, direkt bezahle!

Ja, genauso. Meine Klimaanlage hat mich über 2000€ gekostet, da ist es doch klar, einmal ein paar Dutzend Euro auszugeben, um sie in meine gesamte Smart-Home-Steuerung einzubinden, oder?

[Terdious]

Man kennt ja schon meine Meinung dazu ^^ Natürlich. Wenn man das mit dem Nutzen vergleicht, ist das wirklich nicht teuer. Und in diesem Fall kann jeder nach seinen tatsächlichen Bedürfnissen priorisieren.

Man sollte nicht vergessen, dass es für sehr spezifische Anforderungen auch bei der Gladys-Entwicklung alles Mögliche geben wird. Ich denke zum Beispiel an Geräte wie Rasenmäherroboter => Neue Feature-Kategorie/Typ; Implementierung der Dashboard-Verwaltung / Szenen.

Aber für 90% der üblichen Geräte ist das einfach nur ein Gewinn ^^

[pierre-gilles]

@Terdious

Aber vergiss nicht, dass es für sehr spezifische Anforderungen auch bei der Gladys-Entwicklung immer etwas geben wird

Sobald wir 100% der Matter-Spezifikation in Gladys abgedeckt haben, gibt es nichts mehr zu tun aber ja, solange das nicht der Fall ist, müssen wir einige Anpassungen vornehmen, wie ich es kürzlich bei den Robotersaugern gemacht habe!

[bjm]

@pierre-gilles

Ja, genau. Matterbridge ist einfach nur eine Software, die Matter ↔ jedes beliebige Protokoll verbindet

Daher funktioniert das Plugin mit allem: Apple Home, Google, Alexa, Gladys, Home Assistant, etc…

Wir sind mitten in der Logik der Open-Source-Software: „Eine Entwicklung, die allen zugutekommt“.

Jetzt bleibt nur noch die Frage der Kosten: Wer finanziert die für die Erstellung der Plugins benötigten Tokens?

Ich könnte mir ein System zum Kauf von Tokens vorstellen.

Zum Beispiel 15 Tokens für die Entwicklung eines Plugins.

Erster Schritt: Eine Person hinterlegt das Produkt, das sie kompatibel machen möchte.

Zweiter Schritt: Die Personen, die an diesem Produkt interessiert sind, melden sich, um die Kosten zu teilen und mit der Produktion zu beginnen.

Zum Beispiel legen drei Personen jeweils 5 Tokens ein.

Dritter Schritt: Wenn sich niemand anderes meldet oder die Person es eilig hat, finanziert sie die gesamte Summe und beginnt mit der Produktion.

[Steph38230]

Hallo zusammen, das ist alles sehr aufregend, denn es behebt tatsächlich die „Schwäche“ von Gladys bei etwas exotischeren Geräten…

Ehrlich gesagt, für eine Integration 10€ zu zahlen, wäre ich sofort bereit, das zu tun.

[filbou40]

Heute bin ich kein Gladys-Nutzer, sondern Home Assistant-Nutzer aus zwei Gründen:

• die Anzahl der von HA unterstützten Geräte ist viel größer
• die Leistung der Implementierung von „grafischen“ Dashboards ist viel weiter entwickelt.

Die Plugin-Fabrik ist interessant und ich bin bereit, 5 oder 10 Euro für ein Plugin zu zahlen, aber was ist mit der Wartung? Müsste man für ein Plugin-Update bezahlen? 5 oder 10 Euro zu zahlen erscheint mir angemessen, aber wenn man jedes Mal bezahlen muss, wenn ein Update erforderlich ist, wird die Fabrik viel weniger interessant.

Was ist mit den Dashboards, die, meiner Meinung nach, eine weitere Schwachstelle von Gladys sind?
Was ist langfristig geplant, um die Schnittstelle von Gladys für den Endnutzer „sexyer“ zu machen?

[pierre-gilles]

Hallo @filbou40, danke für dein Feedback!

Bei der Wartung ist das eine gute Frage . Das hängt von den Änderungen ab. Wenn es sehr komplex ist, kann es denselben Preis wie ein Plugin haben. Wenn es sehr einfach ist, kann es sehr günstig sein. Wir könnten die KI bitten, die Komplexität der Aufgabe vorab zu bewerten.

@filbou40

Die Implementierungsleistung von „grafischen“ Dashboards ist viel weiter entwickelt.

Ich bin sehr daran interessiert, würde es dich stören, ein separates Thema zu erstellen, damit wir darüber diskutieren können?

@filbou40

Was ist langfristig geplant, um die Oberfläche von Gladys „sexy“ für den Endnutzer zu machen?

Genauso bei diesem Punkt!!

Das Feedback von Nutzern, die Gladys nicht verwenden, ist für mich sehr wertvoll, daher bin ich wirklich daran interessiert, dein vollständiges Feedback zu erhalten!

[filbou40]

Hallo, ich habe ein Thema zu den Dashboards in „Funktionswünsche“ erstellt. Ich hoffe, ich habe es am richtigen Ort erstellt.

[pierre-gilles]

1. PoC der Plugin-Fabrik heute Morgen (Die Fabrik wurde natürlich vollständig von der KI programmiert :p)

Ich teste das gerade auf meiner Seite!

Die Einrichtung:

1. Ich habe ein Repo erstellt: GitHub - GladysAssistant/matterbridge-ai-plugin-factory: AI-powered factory for creating Matterbridge plugins from GitHub issues · GitHub
2. Im Repo habe ich eine Issue-Vorlage erstellt:

So sind die Anfragen standardisiert und entsprechen dem, was die KI erwartet.
3. Ich habe einen Server bei Hetzner gestartet.
4. Auf dem Server läuft ein kleines Skript, das Claude Code auf die Issues des Repos ansetzt
5. Die KI macht ihr eigenes Ding und postet ihre Fortschritte im Ticket:

[PLUGIN REQUEST] MelCloud

6. Die Kosten:

Ich habe den « Pro »-Tarif mit 21,60€ pro Monat gewählt.

Bisher sind in 20 Minuten Arbeit die Credits schon gut aufgebraucht:

Ich hoffe, dass ich mindestens ein Plugin pro « Session » schaffen kann ^^

[pierre-gilles]

Um ein Plugin zu generieren, wurden 52% des aktuellen Sitzungslimits verbraucht. Keine Überraschung, dass die Generierung eines zweiten Plugins gescheitert ist:

Aber es sieht sehr vielversprechend aus, der generierte Code für das erste Plugin sah toll aus!!