Développer des tableaux de bord en temps réel avec Python et Grafana

Python et Grafana se combinent pour construire efficacement des tableaux de données en temps réel, adaptés à la surveillance des sources de données de mise à jour continues telles que des capteurs, des journaux ou des API. 1. Collecte de données: Utilisez Python pour générer des données via des API, des capteurs ou des simulations, et utilisez des bibliothèques telles que les demandes, les pandas et le CLIET de l'affluxdb pour capturer, traiter et écrire dans la base de données. Par exemple, utilisez InfluxDBClient pour rédiger des données d'utilisation du processeur chaque seconde; 2. Configurer la source de données: ajouter des connexions de base de données telles que l'affluxdb dans Grafana, remplir les URL, les jetons, les seaux et autres informations pour assurer l'accès normal; 3. Créez un graphique: configurez le panneau en temps réel via le langage de requête de flux, sélectionnez des types de graphiques tels que les graphiques de ligne, les panneaux numériques et définissez la fréquence de rafraîchissement pour afficher les tendances des données; 4. Optimisation de la disposition: Organisez raisonnablement la disposition du panneau, définissez les couleurs de seuil, ajoutez des instructions de commentaire, enregistrez plusieurs tableaux de bord pour s'adapter à différents scénarios et optimiser l'agrégation et le nettoyage des données pour améliorer les performances. L'ensemble du processus réalise une solution de surveillance complète de la collecte de données à l'affichage visuel.

Python et Grafana sont utilisés en combinaison pour être un moyen efficace de construire des panneaux de données en temps réel. Cette combinaison est très utile, surtout lorsque vous avez une source de données à mise à jour en continu (telles que des capteurs, des journaux, des API ou des bases de données) qui souhaitent surveiller les tendances et les exceptions par visualisation.

1. Collecte de données: utilisez Python pour saisir ou générer des données en temps réel

Pour afficher le contenu sur la carte, vous devez d'abord avoir une source continue de données. Python est très flexible à cet égard, vous pouvez l'obtenir à partir de l'interface API, la lire à partir du capteur local et même simuler des données de test de génération.

Une pratique courante consiste à écrire un script Python pour saisir régulièrement les données et les stocker dans une base de données. Par exemple:

• Appeler l'API REST à l'aide de la bibliothèque requests
• Utilisez pandas pour traiter et nettoyer les données
• Utilisez ensuite influxdb-client ou mysql-connector-python pour stocker la base de données qui prend en charge les séries chronologiques.

Par exemple, supposons que vous ayez un indicateur de surveillance du système qui est mis à jour une fois par seconde, et que vous pouvez écrire sur affluxDB de la manière suivante:

 à partir de l'affluxdb_client l'importation affluxDBClient, point
à partir d'importation aléatoire Rannt
heure d'importation

client = affluxDBClient (url = "http: // localhost: 8086", token = "your-token", org = "your-org")
write_api = client.write_api (backet = "system_metrics")

Bien que vrai:
    CPU_USAGE = RANDINT (0, 100)
    Point = Point ("CPU"). TAG ("HOST", "Server01"). Field ("Usage", CPU_USAGE)
    write_api.write (point)
    Temps.

De cette façon, les données seront en continu, et l'étape suivante consiste à la rendre "visible".

2. Configurer la source de données Grafana: Connectez-vous à votre base de données

Grafana prend en charge une variété de sources de données, notamment MySQL, PostgreSQL, InfluxDB, Prométhée, etc. Si vous utilisez InfluxDB pour stocker des données, vous pouvez facilement l'ajouter comme source de données:

1. Ouvrez l'interface Grafana (l'adresse par défaut est //m.sbmmt.com/link/4a914e5c38172ae9b61780ffbd0b2f90 )
2. Accédez à Configuration> Sources de données
3. Cliquez sur Ajouter une source de données
4. Sélectionnez le type de base de données que vous utilisez et remplissez les informations de connexion (URL, jeton, seau, etc.)

Une fois la configuration terminée, vous pouvez créer un nouveau tableau de bord pour afficher les données.

Conseil: assurez-vous que votre service de base de données fonctionne correctement et que vos autorisations réseau sont configurées correctement, sinon Grafana peut ne pas être en mesure de se connecter.

3. Créez des graphiques en temps réel: faites bouger les données

Le processus de création d'un tableau de bord à Grafana est intuitif. Cliquez sur Créer un tableau de bord> Nouveau panneau et commencez à configurer l'instruction de requête.

Prenant l'exemple d'InfluxDB, vous pouvez utiliser le langage de requête de flux pour filtrer les dernières données:

 de (godet: "System_metrics")
  |> gamme (démarrage: -1h)
  |> Filtre (fn: (r) => r._Measurement == "CPU" et R._field == "Usage")
  |> agrégatewindow (chaque: 1s, fn: dernier)

Cette requête montrera les modifications de l'utilisation du processeur au cours de la dernière heure et actualisera une fois par seconde.

Vous pouvez choisir différents types de graphiques, tels que:

• Tableau de ligne en temps réel (ligne)
• Le panneau numérique (Singlestat) affiche la valeur actuelle
• Mappe thermique pour voir la distribution

N'oubliez pas de définir la fréquence de rafraîchissement automatique, il est généralement plus approprié de le régler sur 5 secondes ou 10 secondes.

4. Disposition et optimisation: créez une carte claire et facile à comprendre

Un panneau d'affichage en temps réel utile doit non seulement avoir beaucoup de données, mais doit également être une structure claire et mettre en évidence les points clés. tu peux:

• Assembler des indicateurs pertinents (comme le processeur, la mémoire et le disque dans la même ligne)
• Régler le rappel de couleur seuil (le rouge indique une charge élevée)
• Ajouter des commentaires pour expliquer le rôle de chaque figure
• Enregistrez plusieurs tableaux de bord pour différents scénarios (environnement de développement, environnement de production, etc.)

Si le volume de données est important, n'oubliez pas d'ajuster la fonction d'agrégation pour éviter le bégaiement de la page. De plus, le nettoyage régulier des anciennes données peut également aider à maintenir les performances stables.

Fondamentalement, c'est tout. Après l'ensemble du processus, vous constaterez que bien que la combinaison de Python Grafana ne soit pas compliquée, elle a des fonctions solides et convient à divers besoins de surveillance en temps réel. Tant que les données peuvent entrer, Grafana peut vous aider à le rendre "visuel".

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!