Linux 環境で Logstash を使用してログ分析を行うにはどうすればよいですか?

Linux 環境で Logstash を使用してログ分析を行うにはどうすればよいですか?

Logstash は、さまざまな種類のログ データの処理と分析に広く使用されている強力なオープン ソース ツールです。これにより、さまざまなソースからさまざまな宛先にログ データを収集、フィルタリング、変換、送信することが簡単になります。この記事では、Linux 環境でのログ分析に Logstash を使用する方法を紹介し、いくつかの一般的なコード例を示します。

1. Logstash のインストールと構成

始める前に、Java ランタイム環境が Linux 環境にインストールされていることを確認してください。次に、以下の手順に従って Logstash をインストールして構成します。

1. Logstash 圧縮パッケージをダウンロードし、ターゲット フォルダーに解凍します:

   wget https://artifacts.elastic.co/downloads/logstash/logstash-7.10.2.tar.gz
   tar -xzf logstash-7.10.2.tar.gz

   ログイン後にコピー

2. 解凍されたフォルダーを入力します:

   cd logstash-7.10.2

   ログイン後にコピー

3. 新しい構成ファイル logstash.conf を作成し、次の内容を記述します:

   input {
     # 配置输入源，如文件、网络等
     file {
       path => "/path/to/your/logfile.log"
       start_position => "beginning"
     }
   }
   
   filter {
     # 配置过滤器，根据需求进行过滤和转换
     grok {
       match => { "message" => "%{COMBINEDAPACHELOG}" }
     }
   }
   
   output {
     # 配置输出目的地，如Elasticsearch、文件等
     elasticsearch {
       hosts => ["localhost:9200"]
       index => "mylogs-%{+YYYY.MM.dd}"
     }
   }

   ログイン後にコピー

   上記の構成ファイルは単なる例であることに注意してください。独自のニーズに応じて変更および拡張できます。

4. Logstash の起動:

   bin/logstash -f logstash.conf

   ログイン後にコピー

   Logstash が正常に起動していることを確認し、ログ データが指定された宛先に送信されているかどうかを確認します。

2. Logstash の一般的な構成例

以下は、さまざまな機能と処理要件を実現するために一般的に使用される Logstash の構成例です。

a. 正規表現を使用してキー情報を抽出します

filter {
  grok {
    match => { "message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes}" }
  }
}

上記の設定では、正規表現を使用して IP アドレス、リクエスト メソッド、リクエスト パス、およびログ内のデータを抽出します。サイズなどの情報。

b. 追加フィールドの追加

filter {
  mutate {
    add_field => { "environment" => "dev" }
  }
}

上記の設定では、environment という名前の追加フィールドを各ログ レコードに追加し、その値を # に設定します。 ##開発。

c. 指定されたフィールドを削除します

filter {
  mutate {
    remove_field => [ "fieldname1", "fieldname2" ]
  }
}

fieldname1 と fieldname2 という名前のフィールドがそれぞれのフィールドから削除されます。 log レコードから削除します。

d. 時間形式の変換

filter {
  date {
    match => [ "timestamp", "yyyy-MM-dd HH:mm:ss" ]
  }
}

timestamp という名前のフィールドの時間文字列を指定された日付形式に変換します。

以上がLinux 環境で Logstash を使用してログ分析を行うにはどうすればよいですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。