Centos에서 HDFS 상태를 모니터링하는 방법

CentOS 시스템에서 HDFS (Hadoop 분산 파일 시스템)의 상태를 모니터링하는 방법에는 여러 가지가 있습니다. 이 기사는 가장 적합한 솔루션을 선택하는 데 도움이되는 몇 가지 일반적으로 사용되는 방법을 소개합니다.

1. Hadoop의 자체 웹 UI를 사용하십시오

Hadoop의 자체 웹 인터페이스는 클러스터 상태 모니터링 기능을 제공합니다.

단계:

1. Hadoop 클러스터가 가동되고 있는지 확인하십시오.
2. 웹 UI에 액세스하십시오 : 브라우저에 http://<namenode-host> :50070</namenode-host> 를 입력하십시오 http://<namenode-host> :50070</namenode-host> (Hadoop 2.x) 또는 http://<namenode-host> :9870</namenode-host> (Hadoop 3.x). 기본 사용자 이름과 비밀번호는 일반적으로 hdfs/hdfs 입니다.

2. 명령 라인 도구 모니터링

Hadoop은 클러스터 상태 모니터링을 용이하게하기 위해 일련의 명령 줄 도구를 제공합니다.

일반적으로 사용되는 명령 :

• Namenode 상태 확인 : hdfs dfsadmin -report 명령을 사용하여 DatAnodes 수, 용량 사용 및 기타 정보를 포함하여 클러스터의 전체 상태를 얻으십시오.
• Namenode 건강 상태 점검 : hdfs dfsadmin -report -health Command는 Namenode의 건강 상태를 표시 할 수 있습니다.
• Datanode 상태 및 손상된 블록 감지 : hdfs dfsadmin -report -listCorruptFileBlocks 명령은 손상된 파일 블록을 나열합니다.

3. 타사 모니터링 도구

Prometheus, Grafana, Nagios 등과 같은 많은 타사 모니터링 도구는 HDFS 클러스터를 효과적으로 모니터링 할 수 있습니다.

Prometheus 및 Grafana 사례 :

1. PROMETHEUS 설치 : 다운로드 및 압축을 풀고, run ./prometheus --config.file=prometheus.yml 로 서비스를 시작하십시오.
2. Prometheus 모니터링 HDFS : prometheus.yml 편집 및 HDFS 추가 모니터링 구성 구성.

 scrape_configs :
  -BOB_NAME : 'HDFS'
    static_configs :
      - 대상 : [ ''<namenode-host> : 50070 ']</namenode-host>

3. Grafana를 설치하십시오 : 다운로드 및 zip grafana, 실행 ./bin/grafana-server 실행하여 서비스를 시작하십시오.
4. Grafana 구성 : 액세스 http://<grafana-host> :3000</grafana-host> , 기본 사용자 이름 및 비밀번호 admin/admin 로 로그인하고 Prometheus 데이터 소스를 추가하고 대시 보드를 만들어 HDFS 상태를 모니터링하십시오.

4. Hadoop JMX 인터페이스를 사용하십시오

Hadoop 구성 요소 (Namenode, Datanode 등)는 JMX 인터페이스를 제공하며 JMX 클라이언트 도구 (jconsole, visualVM 등)를 통해 모니터링 할 수 있습니다.

jconsole 예 :

1. JCONSOLE 시작 : jconsole 명령을 실행하십시오.
2. Hadoop 프로세스에 연결하십시오 : JCONSOLE에서 모니터링하려면 Hadoop 프로세스 (Namenode 또는 Datanode)를 선택하여 관련 mbean 정보를 볼 수 있습니다.

CentOS 시스템에서 HDFS 클러스터 상태를 효과적으로 모니터링하기 위해 위의 방법 중 귀하의 요구에 맞는 솔루션을 선택하십시오.

위 내용은 Centos에서 HDFS 상태를 모니터링하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!