hadoop의 세 가지 주요 구성 요소는 무엇입니까?

Hadoop에는 세 가지 주요 구성 요소가 있습니다. 1. 신뢰성이 높고 처리량이 높은 분산 파일 시스템인 HDFS 2. 분산 오프라인 병렬 컴퓨팅 프레임워크인 MapReduce 3. 분산 리소스 관리 프레임워크인 Yarn.

이 문서의 운영 환경: Windows 7 시스템, Dell G3 컴퓨터.

hadoop의 세 가지 주요 구성 요소:

1, HDFS

신뢰도가 높고 처리량이 높은 분산 파일 시스템

대량 데이터 저장

분산

보안

데이터 복사

데이터입니다. 저장됨 블록 형태, 128M

예: 200M—128M 72M

2. MapReduce

분산형 오프라인 병렬 컴퓨팅 프레임워크

대량 데이터 처리

분산

아이디어:

분할 및 정복

빅 데이터 세트는 작은 데이터 세트로 나누어집니다

각 데이터 세트는 논리적인 비즈니스 처리(맵)를 수행합니다

통계 데이터 결과 병합(리듀스)

3. Yarn

분산 자원 관리 프레임워크

자원을 관리합니다. 전체 클러스터(메모리, CPU 코어)

클러스터의 리소스 할당 및 예약

관련 동영상 추천: 초급부터 숙련까지 PHP 프로그래밍

위 내용은 hadoop의 세 가지 주요 구성 요소는 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!