Gestion plus fine de l'historique des états

Dans Gladys, actuellement il n’est possible que de sélectionner :

Les états « agrégées » sont pour l’instant gardé à vie.

L’idée de ce développement serait de proposer une gestion plus fine de cette partie :

Et de permettre de choisir une durée différente de durée de détention pour les états agrégés :

Qu’en pensez-vous ? Est-ce que les durées vous paraissent bien ou je dois en rajouter ?

Je trouve ça très bien, ça fait pas mal d’options, j’avoue que je ne me rends pas vraiment compte d’un cas particulier qui nécessiterait encore plus d’ options de durées.

@guim31 tu utilises quelle durée toi ?

3 mois, sans vraiment avoir jamais eu besoin de remonter plus haut.
Car la seule chose que je pourrai avoir envie de consulter /comparer d’une année sur l’autre, serait ma conso électrique, mais je fais ça depuis l’application dédiée de mes panneaux solaires qui est très complète.

Ok, mais du coup actuellement tu gardes toutes les données agrégées à vie alors que tu ne les veux pas plus que 3 mois ^^ Donc c’est pas optimale :smiley:

D’où ce chantier

2 « J'aime »

Je vote direct car la base de donnée arrête pas de grossir et du coup je fait un nettoyage moi même de temps en temps pour supprimer les données agrégées.

1 « J'aime »

Oui exactement !

La PR:

2 « J'aime »

C’est vrai qu’une gestion plus fine limitera la taille des sauvegardes également car entre 3 mois et illimité cela faisait court, c’est bien d’avoir ajouté ces durées ! :+1:

J’en ai profité pour rajouter cette tâche à l’écran « tâches en arrière plan »:

2 « J'aime »

Donc c’est rétroactif ?
Si je définis d’abord illimité, et que 1 an plus tard je définis à 1 mois, alors tous les anciens états seront supprimés dans la foulée ?

Oui le soir même à 4h du matin ça sera purgé

1 « J'aime »

« le soir » et « 4h du matin », c’est pas sensé être logique :joy:

Merci pour la confirmation que pour l’instant les données aggrégées sont gardées à vie, j’avais oublié.

Question plus ou moins bête, je crois que tu as déjà répondu à cette question, mais les sujets évoluent parfois :

→ En prenant en compte que les bases de données de ceux qui souhaitent garder les données plusieurs mois (ou illimité) deviennent conséquentes en taille, est-ce imaginable de migrer vers une base de données type InfluxDB pour les valeurs des capteurs non aggrégées ?
La taille serait grandement diminuée, mais en revanche on permet la flexibilité d’avoir des fichiers plats comme avec SQLite pour ces données là.

2 « J'aime »

Des fois Il y a des jours on dirait des semaines… :rofl:

1 « J'aime »

Là dessus, je zieute depuis un bout de temps sur une nouvelle DB fichier (comme SQlite) mais pour des données time-serie, ça s’appelle DuckDB et ça devient un peu une référence. J’ai testé et c’est assez phénoménale l’espace que ça prend vs Gladys actuellement (pour des données time-serie bien-sûr)

J’attendais que DuckDB passe en stable pour lancer un chantier dessus

Après, InfluxDB pour ceux qui connaissent, pourquoi pas avoir une intégration, mais pour moi ça ne sera pas une façon « recommandée » de faire mais plutôt une intégration pour les experts :slight_smile:

1 « J'aime »

En effet tu l’avais déjà mentionné ce projet. Vivement qu’il passe en mode stable, car on pourra tous en profiter :

  • Moins d’accès SSD / MicroSD sur RaspberryPi je pense
  • Possibilité de garder toutes les données de nos capteurs sur plus d’un an, sans soucis d’espace disque
  • Des sauvegardes côté Gladys Plus optimisées (ma DB fait plus de 10Gb !!)

Je pense tout autant voir plus, te fais pas trop de plan là dessus aha :smiley:

Par contre ça oui carrément, c’est tout le but.

1 « J'aime »

@lmilcent Tiens si tu veux de l’espoir, j’avais fais un test avec une DB de 4.5GB d’états de capteurs (des données variés) importé dans DuckDB.

  • Dans Gladys: 4.5GB
  • Dans DuckDB: 50Mb

On est sur un facteur 90, c’est assez dingue :stuck_out_tongue:

(Bon après, c’est normal, c’est une BDD time-serie, c’est fait pour ça)

3 « J'aime »

Même en sachant que c’est fait pour, c’est impressionnant !

14Go actuellement de base de données donnerait 160Mo avec un facteur 90. :star_struck:

1 « J'aime »

14Go c’est sur disque on est d’accord? Côté Gladys Plus en compressé + chiffré t’es à combien ? Tes backups passent encore ?