[EN COURS] Integration Influxdb

J’ai pas mal avancer sur le sujet influxdb. Celles et ceux avec beaucoup de features seront ravis de pouvoir historiser sur plusieurs années leur données.

Les type de données poussées dans Influxdb sont:

  • decimal
  • integer
  • binary

Je vais bientôt pousser sur ma prod pour voir niveau perf ce que ça donne. Je reviendrai rapidement vers vous pour tester.

En attendant quelques screens:

Gladys

Pas grand chose ici, on paramètre uniquement les infos de son serveur influxdb
image

Influxdb

Au niveau metadonnées on retrouve:

  • Nom de la feature
  • Pièce
  • Type

6 Likes

Génial merci pour les screens !

Comment ça fonctionne, les données sont stockées en double ?

J’apprécierais énormément de pouvoir faire des graphiques dans InfluxDB s’il le faut, sur plusieurs mois et plusieurs capteurs. Dans Gladys, seules les données aggrégées me suffisent pour les dashboards (s’il le faut) :blush:

Oui c’est en double, chaque changement d’état est répercuté dans influxdb.

On peut du coup configurer gladys avec une retention faible ( 1 mois) et pour l’analyse un peu plus long terme se faire un Dashboard grafana.
Surtout intéressant pour les données liées à l’énergie

1 Like

Tu penses qu’on pourrait rajouter une option (ou par défaut) la rétention des valeurs aggrégées dans Gladys, sur les périodes 24h, 7j, 1m et 1an ?

Comme ça on a pas de doublons mais on garde de la visibilité dans Gladys.

J’ai pas compris @lmilcent :sweat_smile:

Je fais référence aux améliorations qu’on a pu évoquer avec @pierre-gilles.
Je proposais, pour gagner en taille de base de données, donc en stockage et en rapidité, de :

  • conserver 24h de données brutes
  • conserver seulement les valeurs aggrégées des 7 derniers jours (en gros, 100 valeurs / jour)
  • conserver seulement les valeurs aggrégées du dernier mois
  • conserver les valeurs aggrégées de la dernière année.

Comme ça, Gladys stock au final assez peu de données et les graphiques des dashboards sont fonctionnels.

Et enfin pour la visualisation et le stockage de toutes les données brutes, on pourrait proposer l’intégration Influx DB sur laquelle tu bosses.

Stylé @VonOx ! :slight_smile:

Je suis toujours d’accord avec ce qu’on s’était dit mais c’est un autre sujet pour moi, ça n’a pas trop de lien avec InfluxDB ^^

Haha attend t’as pas vu le code encore :eyes::grin:

3 Likes

C’est en prod sur mon instance

Je laisse tourner comme ça quelques temps, j’ai les tests et la doc à écrire…

5 Likes

Presque un mois, pas de soucis :slight_smile:



Je vous laisse deviner quand je suis parti en vacances :stuck_out_tongue:

4 Likes

Côté base de données, comment ça évolue ? x2 réellement ?

Db gladys?

Tu disais qu’il fallait une deuxième DB pour InfluxDB. D’où ma question, avec l’utilisation tu as donc doublé l’espace disque utilisé c’est bien ça ?

Comment ça se passe quand tu supprimes un équipement de Glaydys ? Tu gardes les données dans InfluxDB ou c’est aussi supprimé ?

C’est conservé, c’est pas la même techno.

Influxdb tu crée des bucket avec une retention. Tu pousses de la donnée Time series dans ces buckets

Ma DB influx fait 300MB pour 2 mois de datas
Côté Gladys je suis à 4.5GB pour 1 mois de rétention

2 Likes

Qu’est-ce que tu pousses dans ta DB Influx pour qu’elle ne fasse que 300Mb ?

Sinon c’est exactement ce que j’espérais : consulter les données des capteurs sans relation avec Gladys sur la suppression des équipements. C’est plus compliqué si on veut vraiment supprimer toutes les données du capteur, mais ça permet d’adresser des besoins et situations différentes.

Vivement la version beta que je puisse tester :slight_smile:

Tous les states :slight_smile:

Alors là j’avoue que je ne comprends pas comment c’est possible.

2 mois à 300Mb pour InfluxDB et 4.5G pour 1 mois dans Gladys, c’est quoi l’astuce ?

Bah j’ai que les états côté Influx, Gladys j’ai tout ( agrégation, localisation )
Et la techno InfluxDB , c’est fait pour !

1 Like

J’ai hâte :slight_smile:

J’utilise déjà un build sur ma prod vonox/gladys:influxdb ( c’est de l’alpha )