Méthodes et techniques d'implémentation de l'agrégation de logs et des statistiques sous Linux

Introduction :
Lors du développement et de la maintenance des applications, la journalisation est une tâche très importante. En produisant des journaux, nous pouvons surveiller l'état d'exécution de l'application en temps réel, résoudre les problèmes et effectuer une analyse et une optimisation des performances. Cependant, dans les grands systèmes, les fichiers journaux sont généralement dispersés sur différents serveurs, ce qui rend la recherche et l'analyse des journaux difficiles. Par conséquent, il est très nécessaire de comprendre comment implémenter l’agrégation de journaux et les statistiques sous Linux.

1. Utilisez rsyslog pour la collecte de journaux :
rsyslog est un logiciel de gestion de journaux populaire sous Linux, qui peut nous aider à collecter, filtrer, traiter et transférer les journaux. Voici un exemple d'utilisation simple :

1. Installez rsyslog sur le serveur A :
   $ sudo apt-get install rsyslog
2. Configurez le fichier rsyslog.conf :
   $ sudo vi /etc/rsyslog.conf
   Ajoutez ce qui suit dans le fichier Contenu :

Transférer tous les journaux vers le serveur B

.@serverBIP:514

3. Redémarrer le service rsyslog :
   $ sudo service rsyslog restart

Avec la configuration ci-dessus, tous les journaux du serveur A seront envoyés au port 514 sur le serveur B.

2. Utilisez ELK Stack pour l'analyse des journaux :
ELK Stack est une solution complète d'analyse des journaux, comprenant Elasticsearch, Logstash et Kibana. Voici un bref exemple d'utilisation :

1. Installez Elasticsearch :
   $ sudo apt-get install default-jre
   $ wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
   $ sudo apt-get update && sudo apt-get install elasticsearch
2. Configurez Elasticsearch :
   $ sudo vi /etc/elasticsearch/elasticsearch.yml
   Modifiez les éléments de configuration suivants :

network.host : localhost
port http. : 9200

3. Démarrez le service Elasticsearch :
   $ sudo service elasticsearch start
4. Installez Logstash :
   $ sudo apt-get install logstash
5. Configurez Logstash :
   $ sudo vi /etc/logstash/conf.d/logstash.conf + ana :
   $ wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
$ sudo apt-get install kibana

Configurer Kibana :
$ sudo vi /etc /kibana/ kibana.yml

elasticsearch.url : "http://localhost:9200"

Démarrez le service Kibana :
$ sudo service kibana start

6. Pass Avec la configuration et les étapes ci-dessus, nous pouvons visualiser et analyser les données des journaux en temps réel dans l'interface Web de Kibana.
   
3. Utilisez AWK pour les statistiques de journaux :
7. AWK est un outil puissant qui peut réaliser l'analyse et le traitement de texte, et est très utile dans les statistiques de journaux. Voici un exemple simple :
   
   
Utilisez AWK pour compter le nombre de visites par adresse IP :
8. $ awk '{ print $1 }' /var/log/nginx/access.log | uniq -c
   
   Utilisez AWK Calculer le nombre de visites sur chaque URL :
$ awk '{ print $6 }' /var/log/nginx/access.log sort | uniq -c

Avec la commande ci-dessus, nous pouvons facilement compter chaque adresse IP et la nombre de visites sur l'URL.

Résumé :
9. Il existe de nombreuses méthodes et techniques pour implémenter l'agrégation de journaux et les statistiques sous Linux. Cet article présente des exemples simples utilisant des outils tels que rsyslog, ELK Stack et AWK. Grâce à ces outils, nous pouvons mieux gérer et analyser les journaux et améliorer l’efficacité opérationnelle et la stabilité des applications. J'espère que cet article vous aidera !
   

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!