Ausführliche Erklärung des Basisfreundes Logstash von Elasticsearch

Logstash ist ein leistungsstarkes Datenverarbeitungstool, das Datenübertragung, Formatverarbeitung und formatierte Ausgabe realisieren kann und über leistungsstarke Plug-In-Funktionen verfügt, die häufig für die Protokollverarbeitung verwendet werden.

Eingabe

Daten können aus Dateien, Speichern und Datenbanken extrahiert werden. Die eine besteht darin, sie zum Filtern und Bereinigen zu übergeben. Der andere wird direkt an Output übergeben

Filter

Fähigkeit zur dynamischen Transformation und Analyse von Daten. Dateninformationen können individuell gefiltert und bereinigt werden

Ausgabe

Mit zahlreichen Ausgabeoptionen können Sie Daten dorthin senden, wo Sie sie möchten, und haben die Flexibilität, zahlreiche nachgelagerte Anwendungsfälle freizuschalten.

wget https://artifacts.elastic.co/downloads/logstash/logstash-6.0.1.rpm
yum install -y ./logstash-6.0.1.rpm

vim /etc/logstash/logstash.yml
path.data: /var/lib/logstash                                    # 数据存放路径
path.config: /etc/logstash/conf.d/*.conf                        # 其他插件的配置文件，输入输出过滤等等
path.logs: /var/log/logstash                                    # 日志存放路径

Logstash ist ein auf Java entwickeltes Programm, das in der JVM ausgeführt werden muss. Es kann durch die Konfiguration von jvm.options festgelegt werden. Zum Beispiel der maximale und minimale Speicher, der Müllbereinigungsmechanismus usw. Hier sind nur zwei der am häufigsten verwendeten.

Die Speicherzuweisung von JVM darf nicht zu groß oder zu klein sein. Wenn sie zu groß ist, wird das Betriebssystem verlangsamt. Zu klein, um anzufangen.

vim /etc/logstash/jvm.options                               # logstash有关JVM的配置
-Xms256m                                                    # logstash最大最小使用内存
-Xmx1g

Installieren Sie ein httpd zum Testen und konfigurieren Sie Logstash, um die Protokolldatei accless.log von Apache zu erfassen

yum install httpd
echo "Hello world" > /var/www/html/index.html               # 安装httpd，创建首页用于测试

vim /etc/logstash/conf.d/test.conf
input {
    file {                                                  # 使用file作为数据输入
        path => ['/var/log/httpd/access_log']               # 设定读入数据的路径
        start_position => beginning                         # 从文件的开始处读取，end从文件末尾开始读取
    }
}
output {                                                    # 设定输出的位置
    stdout {
        codec => rubydebug                                  # 输出至屏幕
    }
}

Logstash ist ein integrierter Befehl, der jedoch nicht in den Umgebungsvariablen enthalten ist. Daher können Sie für die Verwendung dieses Befehls nur den absoluten Pfad verwenden.

/usr/share/logstash/bin/logstash -t  -f  /etc/logstash/conf.d/test.conf   # 测试执行配置文件，-t要在-f前面
Configuration OK                                                          # 表示测试OK

Schließen Sie diese Sitzung nicht, nachdem Sie logstash in der aktuellen Sitzung ausgeführt haben. Nennen Sie sie vorübergehend Sitzung 1 und öffnen Sie dann ein neues Fenster als Sitzung 2

/usr/share/logstash/bin/logstash  -f  /etc/logstash/conf.d/test.conf

curl 172.18.68.14

{
      "@version" => "1",
          "host" => "logstash.shuaiguoxia.com",
          "path" => "/var/log/httpd/access_log",
    "@timestamp" => 2017-12-10T14:07:07.682Z,
       "message" => "172.18.68.14 - - [10/Dec/2017:22:04:44 +0800] \"GET / HTTP/1.1\" 200 12 \"-\" \"curl/7.29.0\""
}

    vim /etc/logstash/conf.d/test.conf
    input {
    file {
        path => ['/var/log/httpd/access_log']
        start_position => "beginning"
    }
    }
    filter {
    grok {
        match => {
            "message" => "%{COMBINEDAPACHELOG}"
        }

        remove_field => "message"   
    }
    }
    output {
    elasticsearch {
        hosts => ["http://172.18.68.11:9200","http://172.18.68.12:9200","http://172.18.68.13:9200"]
        index => "logstash-%{+YYYY.MM.dd}"
        action => "index"
        document_type => "apache_logs"
    }
    }

     /usr/share/logstash/bin/logstash -t -f /etc/logstash/conf.d/test.conf       # 测试配置文件
    Configuration OK
     /usr/share/logstash/bin/logstash  -f /etc/logstash/conf.d/test.conf         # 启动Logstash

    curl 127.0.0.1
    curl 172.18.68.14

    filter {
        grok {
                match => {
                        "message" => "%{HTTPD_COMBINEDLOG} \"%{DATA:realclient}\""
                }
                remove_field => "message"
        }
        date {
                match => ["timestamp","dd/MMM/YYYY:H:m:s Z"]
                remove_field => "timestamp"
        }
    }

    filter {
        grok {
                match => {
                        "message" => "%{HTTPD_COMMONLOG}"
                }
                remove_field => "message"
        }
        date {
                match => ["timestamp","dd/MMM/YYYY:H:m:s Z"]
                remove_field => "timestamp"
        }
    } 

Das obige ist der detaillierte Inhalt vonAusführliche Erklärung des Basisfreundes Logstash von Elasticsearch. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!