Detaillierte Einführung in die Heka-Konfiguration

Dieses Linux-Tutorial erklärt Ihnen die Heka-Konfiguration und den spezifischen Betriebsprozess:

Verteilte Backend-Protokollarchitektur basierend auf Heka, ElasticSearch und Kibana

Die aktuellen Mainstream-Backend-Protokolle sind The Es wird der Standard-Elchmodus (Elasticsearch, Logstash, Kinaba) übernommen, der für die Protokollspeicherung, -sammlung und -visualisierung verantwortlich ist.

Da unsere Protokolldateien jedoch unterschiedlich sind und auf verschiedene Server verteilt sind, werden verschiedene Protokolle verwendet, um die sekundäre Entwicklung und Anpassung in der Zukunft zu erleichtern. Daher hat Mozilla Heka übernommen, das mit Golang Open Source implementiert ist, und Logstash nachgeahmt.

Verteilte Backend-Protokollarchitektur basierend auf Heka, ElasticSearch und Kibana

Derzeit verwenden Mainstream-Backend-Protokolle den Standard-Elk-Modus (Elasticsearch, Logstash, Kinaba), der jeweils für die Protokollspeicherung, -erfassung und -erfassung verantwortlich ist Protokollvisualisierung.

Da unsere Protokolldateien jedoch unterschiedlich sind und auf verschiedene Server verteilt sind, werden verschiedene Protokolle verwendet, um die sekundäre Entwicklung und Anpassung in der Zukunft zu erleichtern. Daher hat Mozilla Heka übernommen, das mit Golang Open Source implementiert ist, und Logstash nachgeahmt.

Gesamtarchitekturdiagramm

Die Gesamtarchitektur nach der Verwendung von Heka, ElasticSearch und Kibana ist in der folgenden Abbildung dargestellt

Heka-Artikel

Einführung

Der Protokollverarbeitungsablauf von Heka besteht aus Eingabesegmentierung, Dekodierung, Filterung, Kodierung und Ausgabe. Der Datenfluss innerhalb eines einzelnen Heka-Dienstes fließt innerhalb jedes Moduls durch das von Heka definierte Nachrichtendatenmodell.

Heka verfügt über integrierte, am häufigsten verwendete Modul-Plug-Ins, wie z. B.

• Das Eingabe-Plug-In verfügt über Logstreamer Input, das Protokolldateien als Eingabequellen verwenden kann ,

• Das Dekodierungs-Plug-in Nginx Access Log Decoder kann das Nginx-Zugriffsprotokoll in Standard-Schlüssel-Wert-Paardaten dekodieren und zur Verarbeitung an das nachfolgende Modul-Plug-in übergeben.

Dank der flexiblen Konfiguration von Ein- und Ausgabe können die von Heka an verschiedenen Orten gesammelten Protokolldaten verarbeitet und zur einheitlichen Codierung an Heka im Protokollzentrum ausgegeben und dann übergeben werden ElasticSearch für die Speicherung.

Das obige ist der detaillierte Inhalt vonDetaillierte Einführung in die Heka-Konfiguration. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!