빅데이터의 기본 기술은 무엇인가?

기본 기술에는 다음이 포함됩니다. 1. 데이터 수집에는 관리 정보 시스템, 웹 정보 시스템, 물리적 정보 시스템, 과학 실험 시스템이라는 네 가지 주요 소스가 있습니다. 2. 데이터 액세스. 3. 클라우드 스토리지, 분산 파일 스토리지 등 인프라 4. 데이터 처리: 다양한 데이터 세트의 데이터를 수집, 구성, 정리 및 변환하여 새로운 데이터 세트를 생성합니다. 5. 통계 분석. 6. 데이터 마이닝. 7. 예측 모델, 기계 학습, 모델링 및 시뮬레이션과 같은 모델 예측. 8. 클라우드 컴퓨팅, 태그 클라우드, 관계 다이어그램 등 결과 발표

이 문서의 운영 환경: Windows 7 시스템, Dell G3 컴퓨터.

빅데이터의 기본 기술에는 데이터 수집, 데이터 접근, 인프라, 데이터 처리, 통계 분석, 데이터 마이닝, 모델 예측, 결과 제시 등이 포함됩니다.

1. 데이터 수집: 빅데이터의 수명주기에서 데이터 수집은 첫 번째 단계입니다. MapReduce에서 데이터를 생성하는 응용 시스템의 분류에 따르면 빅데이터 수집의 주요 소스는 관리 정보 시스템, 웹 정보 시스템, 물리적 정보 시스템, 과학 실험 시스템의 네 가지로 나뉩니다.

2. 데이터 액세스: 빅 데이터 액세스는 다양한 기술 경로를 채택하며 대략 세 가지 범주로 나눌 수 있습니다. 카테고리 1은 주로 대규모 구조화된 데이터를 다루고 있습니다. 카테고리 2는 주로 반정형 데이터와 비정형 데이터를 다룹니다. 카테고리 3은 정형 빅데이터와 비정형 빅데이터가 혼합되어 있습니다.

3. 인프라: 클라우드 스토리지, 분산 파일 스토리지 등

4. 데이터 처리: 수집된 다양한 데이터 세트의 경우 파일, XML 트리, 관계형 테이블 등과 같은 구조와 패턴이 다를 수 있으며 이는 데이터의 이질성에 반영됩니다. 여러 이기종 데이터 세트의 경우 추가 통합 처리 또는 서로 다른 데이터 세트의 데이터를 수집, 정렬, 정리 및 변환한 후 후속 쿼리 및 분석 데이터 보기를 위한 통합을 제공하기 위해 새로운 데이터 세트로 생성됩니다. .

5. 통계 분석: 가설 검정, 유의성 검정, 차이 분석, 상관 분석, T 검정, 분산 분석, 카이제곱 분석, 부분 상관 분석, 거리 분석, 회귀 분석, 단순 회귀 분석, 다중 회귀 분석, 단계적 회귀분석, 회귀예측 및 잔차분석, 능선회귀분석, 로지스틱 회귀분석, 곡선추정, 요인분석, 군집분석, 주성분분석, 요인분석, 고속 군집화법 및 군집화법, 판별분석, 대응분석, 다변량 대응분석(최적척도) 분석), 부트스트랩 기술 등

6. 데이터 마이닝: 현재는 개체 기반 데이터 연결을 통한 데이터 네트워크 마이닝, 특정 그룹 마이닝, 그래프 마이닝과 같은 새로운 데이터 마이닝 기술을 개선해야 합니다. , 유사성 연결 등 빅데이터 융합 기술, 사용자 관심도 분석, 네트워크 행동 분석, 감성 의미 분석 등 현장 중심 빅데이터 마이닝 기술의 획기적인 발전.

7. 모델 예측: 예측 모델, 기계 학습, 모델링 및 시뮬레이션.

8. 결과 발표: 클라우드 컴퓨팅, 태그 클라우드, 관계 다이어그램 등

위 내용은 빅데이터의 기본 기술은 무엇인가?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!