Gladys Assistant 4.45 : DuckDB, une révolution dans Gladys ! ⚡

@pascal_sapin Oui c’est normal :slight_smile:

@guim31 c’est bien le cas, on utilise désormais la donnée pure au lieu de données pré-calculée, et DuckDB fait l’échantillonnage en live sur la totalité de la donnée donc ça fait moins « d’accoup » au passage entre les différents période comme c’était le cas jusque-là !

Et ben c’est génial parce que ça a de la gueule !!! :wink:

J’ai remarqué ça aussi, je ne m’attendais pas à ce que ça change autant l’allure des courbes. Et j’aurais pas dis moi que toi, @guim31 :laughing:

Alors est ce qu’il y a eu d’autres belles réductions de DB ? :smile:

Normalement la tout le monde devrait être à jour !

Bravo Pierre-Gilles, pas d’autre mot.
MaJ tout en douceur, aucun bug, ralentissement ou autre.

Taille de la base divisée par 100, rien que ça…

image

Chapeau l’artiste :clap:

Est-il normal que dans mes tâches je migre encore vers DuckDB ce matin ?

pour info j’ai redémarré Gladys il y a 26 minutes et j’ai rebooté mon miniPC il y a 1 minute

J’imagine que c’est simplement une verification au demarrage de Gladys, mais que celles-ci doivent etre instantanées car il n’y a plus rien à migrer. La tache se lance et verifie si des données sont encore à migrer.

Bonjour . Tout semble être OK ici … Merci beaucoup … de la Belle ouvrage … Félicitations …

mise a jour tombé hier 17h30, migration finie a 1h15 du matin.
base sqlite18.3 Go
base duckdb 45.4Mo
me reste purge sqlite, pas encore lancé.
petite question outil de visualisation de base duckdb comme existe dbbrowser ou tableplus

Discussion en cours ici :Faire des modifications directement dans la BDD.

DBeaver fonctionne bien. Nous sommes 2 à ne pas avoir réussi à utiliser TablePlus avec.

Pour moi plantage successif de Gladys (je suis coutumier du faite) mais cela suit son court quand même.


![Capture d’écran de 2024-08-27 18-29-07|690x387](u

pload://sdIQIrWfG82BRQV4Efd6d5quLM2.png)

Salut @bjm,

Quel est ton matériel sur lequel tourne Gladys déjà ?

Pi 3 + disk ssd
J’ai eu un gros plantage en début d’année, réinstallation de gladys à partir d’une sauvegarde (image disk) et depuis plantage tout les 9 jours environ.

Le Pi3 peut en effet galérer si ta DB est conséquente. Il me semble que @GBoulvin avait eu un souci sur Pi4 (phase de purge par contre) :

Mais il a abouti ^^

Je viens de me rappeler que je n’avais pas le ventilateur de branché maintenant c’est fait mais il a fallu que j’ arrête Gladys !

Salut,
Pour moi :
passage à DuckDb vers 17h30 hier soir. Succès
Sauvegarde Gladys lancée il y a 40 minutes. Elle vient de se terminée.
Taille hier : 6.79 Go
Taille il y a 24 minutes : 6.93 Go ??

  • Migration effectuée : Oui
  • Nombre d’états dans SQLite : 38 362 040
  • Nombre d’états dans DuckDB : 38 463 404

Excellent !! :heart_eyes: Merci du retour.

Oui une tâche se lance à chaque démarrage de Gladys pour vérifier si il faut migrer ou pas, c’est normal :slight_smile:

Génial :slight_smile:

Il doit y avoir un soucis hardware chez toi, c’est vraiment très très rare que Gladys plante, chez moi en tout cas ça n’est jamais arrivé en 7 mois avec une sacré installation ^^

Sur un Pi 3, la RAM n’est que de 1 Go, dont une partie va être utilisé par le système. Possible que ce soit un crash « out of memory ». N’hésite pas à créer un sujet séparé sur le forum pour qu’on en parle :slight_smile:

En tout cas si tu as l’opportunité je te conseille vraiment de passer sur mini-PC. C’est vraiment le jour et la nuit, c’est pas très cher neuf et vraiment pas cher d’occasion sur leboncoin.

Il faut que tu fasses la purge SQLite + nettoyage + reboot.

Toute la procédure est décrite ici :

Hello,

Bravo pour cette mise à jour.

De mon côté, je passe de 11Go à 260Mo :slight_smile:

D’accord, merci @pierre-gilles
Je pensais, en ayant lu le message suivant, que la purge pouvait être faite après.

Au final, je viens de terminer toutes les étapes
Taille de la sauvegarde :
Avant : 6.79 Go
Après : 151.13 Mo (durée : moins d’une minute) Taille divisée par près de 50

Durée de la purge SQLite : 29 heures

Taille de la base sur le disque :
Avant : 27 Go
Après : 22 Mo (taille divisée par plus de 1000 !)

Superbe travail, BRAVO !

Salut,

Je n’avais pas vraiment une grosse base de données mais elle est passé de 1,6 Go à 860 ko.
C’est pas trop mal quand même.
Merci pour le travail