Wie verwende ich ELK Stack für die Protokollanalyse in einer Linux-Umgebung?

Wie verwende ich ELK Stack für die Protokollanalyse in einer Linux-Umgebung?

1. Einführung in ELK Stack
ELK Stack ist eine Protokollanalyseplattform, die aus den drei Open-Source-Softwares Elasticsearch, Logstash und Kibana besteht. Elasticsearch ist eine verteilte Echtzeit-Such- und Analysemaschine, Logstash ist ein Tool zum Sammeln, Verarbeiten und Weiterleiten von Protokollen und Kibana ist eine Schnittstelle zur Visualisierung und Analyse von Protokollen.

2. ELK Stack installieren

1. Elasticsearch installieren
   (1) Laden Sie die neueste Version von Elasticsearch herunter:

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.15.2-linux-x86_64.tar.gz

(2) Entpacken Sie das Installationspaket:

tar -zxvf elasticsearch-7.15.2-linux-x86_64.tar.gz

(3) Führen Sie Elasticsearch aus:

cd elasticsearch-7.15.2/bin
./elasticsearch

(4) Überprüfen Sie, ob Elasticsearch normal ausgeführt wird. Besuchen Sie http://localhost:9200 im Browser. Wenn die folgenden Informationen zurückgegeben werden, ist die Installation erfolgreich:

{
  "name" : "xxxx",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "xxxx",
  "version" : {
    "number" : "7.15.2",
    "build_flavor" : "default",
    "build_type" : "tar",
    "build_hash" : "xxxx",
    "build_date" : "xxxx",
    "build_snapshot" : false,
    "lucene_version" : "xxxx",
    "minimum_wire_compatibility_version" : "xxxx",
    "minimum_index_compatibility_version" : "xxxx"
  },
  "tagline" : "You Know, for Search"
}

2. Logstash installieren
   (1) Laden Sie die neueste Version von Logstash herunter:

wget https://artifacts.elastic.co/downloads/logstash/logstash-7.15.2.tar.gz

(2) Lösung Komprimiertes Installationspaket:

tar -zxvf logstash-7.15.2.tar.gz

(3) Erstellen Sie eine Logstash-Konfigurationsdatei, z. B. logstash.conf:

input {
  file {
    path => "/var/log/nginx/access.log"
    start_position => "beginning"
  }
}

filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "nginx-access-log"
  }
  stdout { codec => rubydebug }
}

Die obige Konfigurationsdatei gibt den Eingabeprotokollpfad an, verwendet das Grok-Muster, um das Protokollformat abzugleichen, und sendet das verarbeitete Protokoll an Elasticsearch und gibt Debugging-Informationen im Terminal über das stdout-Plug-in aus.

(4) Führen Sie Logstash aus:

cd logstash-7.15.2/bin
./logstash -f logstash.conf

Hinweis: Die Konfigurationsinformationen von logstash.conf müssen entsprechend der tatsächlichen Situation geändert werden.

3. Installieren Sie Kibana

   wget https://artifacts.elastic.co/downloads/kibana/kibana-7.15.2-linux-x86_64.tar.gz

   Nach dem Login kopieren
   
   ( 4) Führen Sie Kibana aus:

tar -zxvf kibana-7.15.2-linux-x86_64.tar.gz

Nach dem Login kopieren
(5) Besuchen Sie http://localhost:5601 im Browser. Wenn Sie die Kibana-Oberfläche sehen, ist die Installation erfolgreich.
3. Verwenden Sie ELK Stack für die Protokollanalyse.

Nachdem der ELK Stack installiert ist, können Sie mit der Protokollanalyse beginnen.

Protokolle sammeln

In der Logstash-Konfigurationsdatei können Sie Protokolle aus mehreren Quellen konfigurieren, z. B. Dateien, Netzwerke usw. Ändern Sie die Logstash-Konfigurationsdatei, geben Sie die richtige Protokollquelle an und formatieren Sie sie entsprechend.

Protokolle verarbeiten und weiterleiten
Logstash ist ein leistungsstarkes Protokollverarbeitungstool, das Protokolle über integrierte Plug-Ins verarbeiten und weiterleiten kann. Im Filterabschnitt der Konfigurationsdatei können Sie eine Reihe von Plug-Ins zum Analysieren, Filtern und Formatieren von Protokollen verwenden.

Protokolle speichern und indizieren
1. Im Ausgabeabschnitt der Logstash-Konfigurationsdatei können Sie konfigurieren, wie Protokolle gespeichert und indiziert werden. Elasticsearch ist eine verteilte Suchmaschine, die große Datenmengen schnell speichern und abrufen kann. Sie können die verarbeiteten Protokolle im entsprechenden Index speichern, indem Sie die Hosts und Indexparameter von Elasticsearch konfigurieren.
   
Protokolle visualisieren und analysieren
2. Kibana ist das Visualisierungstool von ELK Stack, das umfangreiche Diagramme und Dashboards zum Anzeigen und Analysieren von Protokolldaten bereitstellt. In Kibana können verschiedene Diagramme und Berichte durch die Erstellung von Indexmustern, Visualisierungen und Dashboards an unterschiedliche Anforderungen angepasst werden.
   
3. 4. Zusammenfassung
   ELK Stack ist eine leistungsstarke und flexible Protokollanalyseplattform, die uns beim Sammeln, Verarbeiten, Speichern, Visualisieren und Analysieren von Protokolldaten helfen kann. Es sind nur ein paar einfache Schritte erforderlich, um ELK Stack in einer Linux-Umgebung zu installieren und zu konfigurieren, und dann können Sie eine Protokollanalyse gemäß den tatsächlichen Anforderungen durchführen. Auf diese Weise können wir Protokolldaten besser verstehen und nutzen, um die Systemleistung zu optimieren, potenzielle Probleme zu identifizieren und die Benutzererfahrung zu verbessern.

Das obige ist der detaillierte Inhalt vonWie verwende ich ELK Stack für die Protokollanalyse in einer Linux-Umgebung?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!