Improving historical device data by granularity

Petit message pour récapituler notre call @Terdious :slight_smile: C’était chouette de s’appeler pour clarifier un peu tout ça !

  • Je pense que c’est aux dĂ©veloppeurs d’intĂ©grations de mettre en place les bons mĂ©canismes pour que leurs intĂ©grations ne soient pas « trop agressives Â» sur la quantitĂ© de donnĂ©e qu’elles envoient Ă  Gladys.

Dans le cas de Netatmo, je suis pour faire du cas par cas dans le code.

Exemple: Feature « batterie Â»: max 1 point par 30 minutes si pas de changement de valeur.

L’objectif est que nous trouvions les bonnes limites qui soient les plus précises sans compromettre la taille de la DB, ni les performances de Gladys.

Pour l’utilisateur, c’est transparent et ça fonctionne automatiquement, dans la philosophie du projet.

  • Sur le moyen terme, je suis de très près DuckDB, une base de donnĂ©e fichier (comme SQLite) mais adaptĂ©e aux donnĂ©es time-series. L’idĂ©e ne serait pas de remplacer le SQLite de Gladys ( qui est tout Ă  fait adaptĂ© au reste de Gladys ), mais uniquement de transfĂ©rer nos donnĂ©es time-serie sur un fichier dĂ©diĂ©. D’après mes tests, la rĂ©duction en taille de DB pour des performances supĂ©rieures Ă  ce qu’on fait actuellement est assez phĂ©nomĂ©nales ( Cf : Gestion plus fine de l'historique des Ă©tats - #18 par pierre-gilles )

Pour l’instant je suis en stand-by sur ce dĂ©veloppement car ils sont encore en beta (0.10.0), Ă  voir si eux se considèrent comme « production-ready Â» ou pas.

3 Likes