Gladys Assistant 4.45 : DuckDB, une révolution dans Gladys ! ⚡

@pascal_sapin Oui c’est normal :slight_smile:

@guim31 c’est bien le cas, on utilise désormais la donnée pure au lieu de données pré-calculée, et DuckDB fait l’échantillonnage en live sur la totalité de la donnée donc ça fait moins « d’accoup » au passage entre les différents période comme c’était le cas jusque-là !

1 « J'aime »

Et ben c’est génial parce que ça a de la gueule !!! :wink:

2 « J'aime »

J’ai remarqué ça aussi, je ne m’attendais pas à ce que ça change autant l’allure des courbes. Et j’aurais pas dis moi que toi, @guim31 :laughing:

2 « J'aime »

Alors est ce qu’il y a eu d’autres belles réductions de DB ? :smile:

Normalement la tout le monde devrait être à jour !

2 « J'aime »

Bravo Pierre-Gilles, pas d’autre mot.
MaJ tout en douceur, aucun bug, ralentissement ou autre.

Taille de la base divisée par 100, rien que ça…

image

Chapeau l’artiste :clap:

2 « J'aime »

Est-il normal que dans mes tâches je migre encore vers DuckDB ce matin ?

pour info j’ai redémarré Gladys il y a 26 minutes et j’ai rebooté mon miniPC il y a 1 minute

J’imagine que c’est simplement une verification au demarrage de Gladys, mais que celles-ci doivent etre instantanées car il n’y a plus rien à migrer. La tache se lance et verifie si des données sont encore à migrer.

Bonjour . Tout semble être OK ici … Merci beaucoup … de la Belle ouvrage … Félicitations …

mise a jour tombé hier 17h30, migration finie a 1h15 du matin.
base sqlite18.3 Go
base duckdb 45.4Mo
me reste purge sqlite, pas encore lancé.
petite question outil de visualisation de base duckdb comme existe dbbrowser ou tableplus

1 « J'aime »

Discussion en cours ici :Faire des modifications directement dans la BDD.

DBeaver fonctionne bien. Nous sommes 2 à ne pas avoir réussi à utiliser TablePlus avec.

Pour moi plantage successif de Gladys (je suis coutumier du faite) mais cela suit son court quand même.


![Capture d’écran de 2024-08-27 18-29-07|690x387](u

pload://sdIQIrWfG82BRQV4Efd6d5quLM2.png)

Salut @bjm,

Quel est ton matériel sur lequel tourne Gladys déjà ?

Pi 3 + disk ssd
J’ai eu un gros plantage en début d’année, réinstallation de gladys à partir d’une sauvegarde (image disk) et depuis plantage tout les 9 jours environ.

Le Pi3 peut en effet galérer si ta DB est conséquente. Il me semble que @GBoulvin avait eu un souci sur Pi4 (phase de purge par contre) :

Mais il a abouti ^^

Je viens de me rappeler que je n’avais pas le ventilateur de branché maintenant c’est fait mais il a fallu que j’ arrête Gladys !

Salut,
Pour moi :
passage à DuckDb vers 17h30 hier soir. Succès
Sauvegarde Gladys lancée il y a 40 minutes. Elle vient de se terminée.
Taille hier : 6.79 Go
Taille il y a 24 minutes : 6.93 Go ??

  • Migration effectuée : Oui
  • Nombre d’états dans SQLite : 38 362 040
  • Nombre d’états dans DuckDB : 38 463 404

Excellent !! :heart_eyes: Merci du retour.

Oui une tâche se lance à chaque démarrage de Gladys pour vérifier si il faut migrer ou pas, c’est normal :slight_smile:

Génial :slight_smile:

Il doit y avoir un soucis hardware chez toi, c’est vraiment très très rare que Gladys plante, chez moi en tout cas ça n’est jamais arrivé en 7 mois avec une sacré installation ^^

Sur un Pi 3, la RAM n’est que de 1 Go, dont une partie va être utilisé par le système. Possible que ce soit un crash « out of memory ». N’hésite pas à créer un sujet séparé sur le forum pour qu’on en parle :slight_smile:

En tout cas si tu as l’opportunité je te conseille vraiment de passer sur mini-PC. C’est vraiment le jour et la nuit, c’est pas très cher neuf et vraiment pas cher d’occasion sur leboncoin.

Il faut que tu fasses la purge SQLite + nettoyage + reboot.

Toute la procédure est décrite ici :

Hello,

Bravo pour cette mise à jour.

De mon côté, je passe de 11Go à 260Mo :slight_smile:

1 « J'aime »

D’accord, merci @pierre-gilles
Je pensais, en ayant lu le message suivant, que la purge pouvait être faite après.

Au final, je viens de terminer toutes les étapes
Taille de la sauvegarde :
Avant : 6.79 Go
Après : 151.13 Mo (durée : moins d’une minute) Taille divisée par près de 50

Durée de la purge SQLite : 29 heures

Taille de la base sur le disque :
Avant : 27 Go
Après : 22 Mo (taille divisée par plus de 1000 !)

Superbe travail, BRAVO !

1 « J'aime »

Salut,

Je n’avais pas vraiment une grosse base de données mais elle est passé de 1,6 Go à 860 ko.
C’est pas trop mal quand même.
Merci pour le travail

3 « J'aime »