Gladys Assistant v4.8.6, mit einem neuen Backup-Algorithmus für Gladys Plus!

Aktuelles
1

Hallo zusammen!

Ich freue mich, heute Gladys Assistant v4.8.6 zu veröffentlichen, ein Update, das sich auf Backups Gladys Plus konzentriert :slight_smile: (Immer noch 59,99€ pro Jahr, zögern Sie nicht!!)

Da es sich um ein spannendes Thema handelt, wollte ich Ihnen einen etwas technischen Post schreiben, um Ihnen zu erklären, wie die Backups nun funktionieren.

Zusammenfassung in 4 Punkten:

  • Die Backups werden nun zwischen Mitternacht und 2 Uhr morgens Ortszeit Ihrer Instanz durchgeführt. Die Uhrzeit wird täglich zufällig gewählt, um die Gladys Plus API nicht zu überlasten, da Sie nun 60 sind, die täglich Ihre Backups hochladen, und ich erwarte, dass diese Zahl in den kommenden Monaten deutlich steigen wird.
  • Die Backups werden in Chunks (in kleinen Stücken von 20MB) hochgeladen und nicht mehr in einem einzigen Block, um den RAM Ihrer Instanzen nicht zu überlasten und jeden kleinen Teil bei einem Fehler erneut versuchen zu können.
  • Die Backups werden direkt über die API des Objekt-Speichers meines Hosting-Anbieters hochgeladen und nicht mehr über den Gladys Plus Backend proxyiert. Dadurch wird der Backend entlastet und eingehende Bandbreite freigegeben.
  • Es ist nun möglich, in Gladys den Status eines laufenden und vergangenen Backups mit einem Fortschrittsprozentsatz zu sehen, und im Falle eines Fehlers die Fehlermeldung.

Screenshot 2022-05-09 at 17.37.27
Screenshot 2022-05-09 at 17.37.272468×1318 309 KB

Jetzt zwei schöne Diagramme :smiley:

Auf der Ebene der Serverarchitektur sieht es nun so aus:

process upload gladys plus@2x
process upload gladys plus@2x1756×964 41 KB

Der Upload erfolgt über signierte URLs und nicht mehr über eine Backend-Proxysierung, wie es früher der Fall war.

Auf der Ebene des Upload-Prozesses habe ich ein Diagramm erstellt, um den neuen Upload-Algorithmus zu veranschaulichen:

Processus de sauvegarde Gladys Plus@2x
Processus de sauvegarde Gladys Plus@2x2458×3484 498 KB

Ich hoffe, das ist sehr klar, zögern Sie nicht, Fragen in den Kommentaren zu stellen :wink:

Ich habe diesen sehr transparenten Post erstellt, um auch die „Kehrseite“ einer Entwicklung zu zeigen, und dass hinter „kleinen“ Entwicklungen (all das ist Stabilität, es gibt keine neuen Funktionen) große Überlegungen und Zeitaufwand in Bezug auf Spezifikation, Entwicklung und Testen stecken können.

Persönlich liebe ich diese „Infrastruktur“-Entwicklungen, die sehr nah an dem sind, was ich für meine Kunden als Freelancer neben Gladys mache :slight_smile:

Das vollständige CHANGELOG ist hier verfügbar.

Wie aktualisiere ich?

Wenn Sie Gladys mit dem offiziellen Raspberry Pi OS-Image installiert haben, werden Ihre Instanzen automatisch in den kommenden Stunden aktualisiert. Das kann bis zu 24 Stunden dauern, keine Sorge.

Wenn Sie Gladys mit Docker installiert haben, stellen Sie sicher, dass Sie Watchtower verwenden (Siehe die Dokumentation).

2

Ich verstehe nur Bahnhof… Aber ich finde die Arbeit super!! :ok_hand::ok_hand:

3

Genial, danke :slight_smile:
Ich hätte fast « aber wie machst du das alles im Backend, welche Logik? » schreiben wollen, während ich den Artikel las. Aber du hattest die sehr gute Idee, das alles sehr gut mit Diagrammen zu erklären.

Danke, dass du dir die Mühe machst, das alles zu dokumentieren, für immer mehr Transparenz und Interesse, die Entwicklung von Gladys zu verfolgen!

4

Bisher scheinen sich die Instanzen ruhig zu aktualisieren und ich sehe Backups durchlaufen, alles scheint gut zu laufen!

Ich habe nur einen Backup-Fehler bei @Mastho gesehen, kannst du mal in « Einstellungen », « Aufgaben » schauen und sehen, was schiefgelaufen ist? :slight_smile:

5

Hallo @pierre-gilles,

Super Arbeit mit dem neuen Backup-Prozess!

Hier ist der Fehler:

Gladys Plus Backup
Gladys Plus Backup845×130 8.52 KB

6

Danke @Mastho, ich glaube, ich weiß, was passiert ist! :slight_smile:

Ich korrigiere das!

7

Ich glaube, ich habe es gefunden, ich habe es in einem PR korrigiert:

Ich merge das so schnell wie möglich und deploye eine Version :slight_smile:

8

Gut gemacht für das neue System, es ist sehr angenehm, den Fortschritt des Backups verfolgen zu können. Vielleicht gibt es nur eine kleine Sache zu überarbeiten: die Rundung des Prozentsatzes in der Aufgabenansicht, man landet regelmäßig bei xx.46666666667 usw. nichts Schlimmes !!^^

Ich dachte, du hättest das Update für die Anzahl der Backups gemacht, aber offensichtlich nicht, ich habe immer noch genauso viele ^^

Auch zur Info (ich glaube nicht, dass man da viel machen kann):
Zu Beginn des Backups wird die Datenbankkopie tatsächlich im Backup-Ordner erstellt. In den Aufgaben bin ich daher schnell auf 10% gekommen (nach etwa 2 Minuten, glaube ich) und blieb dann etwa 10 Minuten auf diesem Stand stecken. Ich habe also die Logs beobachtet und festgestellt, dass eine meiner Kameras seit einigen Tagen ausgefallen war, diese verursacht also alle 10 Sekunden Polling-Fehler. Ich habe diese also auf ein Polling von 1 Minute eingestellt (Feature-Idee nebenbei: die Möglichkeit, das Polling einer Kamera zu deaktivieren, ohne sie löschen zu müssen ^^) und das Backup ist wieder angelaufen … und ist dann ruhig zu Ende gegangen … ist der Fehler schwerwiegender als die Bildaufzeichnung ?? Erstaunlich !! Oder Zufall ?

9

Tatsächlich habe ich das im Fix-PR korrigiert! :slight_smile:

Tatsächlich sind die ersten drei Schritte (sqlite3-Backup + gzip + Verschlüsselung) Schritte, für die ich keine Fortschrittsmeldung habe, daher sind das 10%-Blöcke im Backup-Fortschritt.

0 → 10% = sqlite-Backup
10% → 20% => gzip
20% → 30% => openssl
30% → 100% => Upload

Ich weiß, dass es frustrierend ist, wenn der Fortschrittsbalken nicht linear ist, aber hier habe ich keine Wahl, ich weiß, wann diese Befehle beginnen/enden, aber dazwischen habe ich nichts :smiley:

Mmm, entweder Zufall, entweder ein Bug, oder das WebSocket ist ausgefallen und wieder hochgekommen, was den Eindruck in der Oberfläche erwecken könnte, dass es gestoppt und dann wieder gestartet ist.

10

In Bezug auf dieses Thema habe ich es heute Morgen gemacht :slight_smile:

11

Gladys Assistant v4.8.7 ist mit den Korrekturen :white_check_mark: veröffentlicht.

12

Hallo zusammen!

Ich melde mich 5 Tage nach dem Deployment zurück, um euch den Einfluss dieser Entwicklung auf die Backend-Bandbreite von Gladys Plus zu zeigen:

Screenshot 2022-05-20 at 15.57.31 fr
Screenshot 2022-05-20 at 15.57.31 fr2000×630 152 KB

Der Effekt ist deutlich: Indem wir die Uploads nicht mehr über das Backend laufen lassen, sinkt der Bandbreitenverbrauch, und vor allem gibt es keine „Spitzen“ mehr.

Auf diesem 14-Tage-Grafik sieht man es nicht so gut, aber auf einem 1-Stunden-Grafik sprechen wir von Netzwerkspitzen von 150/200 MB/s, was andere Nutzer von Gladys Plus zum gleichen Zeitpunkt beeinflussen konnte.

Diese Entwicklung bringt also langfristige Stabilität und wird es Gladys Plus ermöglichen, Hunderte neuer Nutzer ohne Probleme aufzunehmen :wink:

13

Warte, ich bin noch nicht da :smiley:

14

:+1: Gute Arbeit ..

15

Schau genau hin, wenn du zoomst, steht bei jedem Peak @Terdious @Terdious @Terdious :rofl::rofl:

16

Ich glaube, @lmilcent hat mich weit überholt :sweat_smile:

Tatsächlich @pierre-gilles der Unterschied ist frappierend!! Gute Nachrichten ^^

@VonOx, ich wusste ja, dass Glasfaser überbewertet ist :wink::rofl:

17

Ach, vergiss es, ich habe zwei Releases Rückstand, Alexa schimpft mit mir, weil „es wohl ein Problem mit meinem Router gibt“.

Aber gut, wenn morgen alles klappt, dann geht’s los

18

Fast 5 GB lokal :sweat_smile:
Aber ich muss das alles bereinigen, ich habe eine Menge nicht besonders nützlicher Daten.