인터넷과 정보 기술의 지속적인 발전으로 로그 분석은 기업 비즈니스, 네트워크 보안 및 시스템 최적화 프로세스에서 없어서는 안 될 부분이 되었습니다. 과거 로그 분석 방법은 주로 수동 읽기, 필터링, 분석에 의존해 대용량 데이터에는 어려웠다. 로그 분석 플랫폼의 등장은 로그 데이터를 효율적이고 정확하게 처리할 수 있어 데이터의 가치를 더욱 높일 수 있습니다. 본 글에서는 PHP를 이용하여 구현한 오픈소스 ELK 로그 분석 플랫폼을 소개합니다.
1. ELK 소개
ELK는 Elasticsearch, Logstash, Kibana 세 가지 오픈 소스 소프트웨어의 약어입니다. Elasticsearch는 대량의 데이터를 처리하고 빠르게 쿼리할 수 있는 Lucene 기반 검색 엔진입니다. Logstash는 다양한 로그를 수집, 구문 분석, 필터링 및 변환할 수 있는 오픈 소스 로그 수집 및 처리 도구입니다. 다양한 차트와 대시보드를 빠르게 생성할 수 있는 대화형 도구입니다.
ELK는 간단한 사용, 효율적인 성능, 강력한 확장성 등의 특징을 가지며 다양한 데이터 소스를 지원합니다. 이를 통해 기업은 강력한 로그 분석 플랫폼을 신속하게 구축하여 시스템 및 애플리케이션의 실행 상태를 모니터링할 수 있습니다.
2. PHP는 ELK를 구현합니다
ELK를 사용하는 과정에서 일반적으로 Logstash를 사용하여 로그를 수집, 구문 분석 및 변환한 다음 Elasticsearch에 데이터를 저장하고 시각적 표시를 위해 Kibana를 사용합니다. 널리 사용되는 서버 측 스크립팅 언어인 PHP는 Logstash 및 Elasticsearch 라이브러리를 사용하여 로그를 수집하고 저장할 수도 있습니다.
1. Logstash 설치
Logstash 설치는 매우 간단합니다. 공식 웹사이트의 다운로드 페이지를 통해 해당 버전을 선택한 후 지정된 디렉터리에 압축을 풀면 됩니다. 예를 들어 Linux 시스템에서는 다음 명령을 통해 설치할 수 있습니다.
curl -L -O https://download.elastic.co/logstash/logstash/logstash-5.5.2.tar.gz tar -zxvf logstash-5.5.2.tar.gz cd logstash-5.5.2/bin/ ./logstash -e 'input { stdin { } } output { stdout {} }'
위 명령을 실행한 후 표준 입력을 통해 Logstash가 성공적으로 설치되었는지 테스트할 수 있습니다. 물론, PHP를 사용하여 로그를 수집하는 방법을 더 잘 소개하려면 관련 라이브러리도 설치해야 합니다.
2. Elasticsearch 라이브러리 설치
우리는 Composer를 사용하여 PHP 라이브러리의 종속성을 관리합니다. Logstash를 설치한 후 다음 명령을 사용하여 Elasticsearch 종속 라이브러리를 설치할 수 있습니다.
composer require elasticsearch/elasticsearch
3. Logstash 구성
로그 수집을 위해 Logstash를 사용하기 전에 Logstash의 관련 매개변수도 구성해야 합니다. 먼저 Logstash에 대한 입력을 정의해야 합니다. 입력 구성에서는 다음과 같은 매우 유용한 플러그인을 사용할 수 있습니다.
여기서는 파일 플러그인을 사용하여 서버의 로그 파일을 읽고 구문 분석하고 처리합니다. 예:
input { file { path => "/var/log/apache2/access.log" type => "apache_access" } }
다음으로 Logstash 필터링을 구성해야 합니다. 필터링을 통해 특정 필드 추출, IP 주소 또는 URL 주소 구문 분석 등의 로그를 분석하고 처리할 수 있습니다. 다음은 간단한 필터입니다.
filter { if [type] == "apache_access" { grok { match => { "message" => "%{COMBINEDAPACHELOG}" } } date { match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ] } } }
그런 다음 Logstash 출력을 정의할 수 있습니다. 출력은 처리된 데이터를 Elasticsearch 또는 데이터베이스, 파일 등과 같은 기타 데이터 저장 매체로 출력할 수 있습니다. 출력 구성은 다음과 같습니다.
output { elasticsearch { hosts => ["localhost:9200"] index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}" user => "elastic" password => "changeme" } }
4. PHP를 사용하여 로그 수집
위 구성 후에는 PHP를 사용하여 로그를 수집할 수 있습니다. 다음은 Linux 또는 기타 UNIX 유사 환경에서 실행할 수 있는 간단한 PHP 스크립트입니다.
build(); $log_path = '/var/log/apache2/access.log'; $log_index = 'apache_access'; if(!file_exists($log_path)) { echo "Log file '{$log_path}' not exists."; exit; } $file_size = filesize($log_path); if($file_size == 0) { exit; } $lines = file($log_path); if(empty($lines)) { exit; } foreach($lines as $line) { $log = []; $log['@timestamp'] = date('c'); $log['message'] = $line; $log['type'] = $log_index; $params = [ 'body' => $log, 'index' => 'logs', 'type' => $log_index ]; $response = $client->index($params); }
위 코드에서는 먼저 Elasticsearch 클라이언트 라이브러리를 사용하여 클라이언트 인스턴스를 생성합니다. 그런 다음 읽을 로그 파일의 경로를 지정하기 위해 $log_path 변수를 정의합니다. 다음으로 file_exists() 함수를 사용하여 파일이 존재하는지 확인하고, filesize() 함수를 사용하여 파일 크기를 가져오고, file() 함수를 사용하여 파일 내용을 읽습니다.
foreach 루프에서는 파일의 각 줄을 순회하고 로그의 각 줄 형식을 $log 배열에 저장합니다. 여기서는 로그 유형과 현재 타임스탬프도 $log 배열에 저장합니다. 마지막으로 Elasticsearch의 index() 메서드를 사용하여 $log 배열을 Elasticsearch로 보냅니다.
3. 요약
위의 소개를 통해 ELK 로그 분석 플랫폼의 워크플로우를 확인할 수 있습니다. Logstash를 사용하여 로그를 수집, 구문 분석 및 변환한 다음 Elasticsearch에 데이터를 저장하고 Kibana를 사용하여 데이터를 시각화하고 대화형으로 표시함으로써 로그 데이터를 빠르고 효율적으로 분석하는 데 도움을 줄 수 있습니다. 동시에 널리 사용되는 서버 측 스크립팅 언어인 PHP는 로그 수집 및 저장을 위해 Logstash 및 Elasticsearch 라이브러리를 사용할 수도 있습니다.
위 내용은 PHP는 오픈 소스 ELK 로그 분석 플랫폼을 구현합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
