Python PySpark를 사용하여 대규모 데이터 세트 처리

이 튜토리얼에서는 대규모 데이터 세트를 처리하기 위한 Python과 PySpark의 강력한 조합을 살펴보겠습니다. PySpark는 빠르고 다양한 클러스터 컴퓨팅 시스템인 Apache Spark에 대한 인터페이스를 제공하는 Python 라이브러리입니다. PySpark를 활용하면 여러 머신에 데이터를 효율적으로 배포하고 처리할 수 있어 대규모 데이터 세트를 쉽게 처리할 수 있습니다.

이 기사에서는 PySpark의 기본 사항을 살펴보고 대규모 데이터 세트에서 다양한 데이터 처리 작업을 수행하는 방법을 보여줍니다. RDD(Resilient Distributed Datasets) 및 데이터 프레임과 같은 주요 개념을 다루고 단계별 예제를 통해 실제 적용을 보여줍니다. 이 튜토리얼을 학습하면 PySpark를 효과적으로 사용하여 대규모 데이터 세트를 처리하고 분석하는 방법을 확실하게 이해할 수 있습니다.

섹션 1: PySpark 시작하기

1부: PySpark 시작하기

이 섹션에서는 개발 환경을 설정하고 PySpark의 기본 개념을 익히겠습니다. PySpark를 설치하고, SparkSession을 초기화하고, RDD 및 DataFrame에 데이터를 로드하는 방법을 다룹니다. PySpark 설치를 시작하겠습니다:

출력

PySpark를 설치한 후 SparkSession을 초기화하여 Spark 클러스터에 연결할 수 있습니다.

SparkSession이 준비되면 이제 RDD 또는 DataFrame에 데이터를 로드할 수 있습니다. RDD는 분산된 요소 컬렉션을 제공하는 PySpark의 기본 데이터 구조입니다. 반면에 DataFrames는 관계형 데이터베이스의 테이블과 유사하게 데이터를 명명된 열로 구성합니다. CSV 파일을 DataFrame으로 로드해 보겠습니다.

출력

위 코드 조각에서 볼 수 있듯이 'read.csv()' 메서드를 사용하여 CSV 파일을 데이터 프레임으로 읽어옵니다. `header=True` 매개변수는 첫 번째 행에 열 이름이 포함되어 있고 `inferSchema=True`가 각 열의 데이터 유형을 자동으로 유추한다는 의미입니다.

2부: 데이터 변환 및 분석

이 섹션에서는 PySpark를 사용한 다양한 데이터 변환 및 분석 기술을 살펴보겠습니다. 데이터 세트 필터링, 집계, 조인과 같은 작업을 다룹니다. 특정 기준에 따라 데이터를 필터링하는 것부터 시작해 보겠습니다.

출력

위 코드 조각에서는 `filter()` 메서드를 사용하여 'age' 열이 30보다 큰 행을 선택합니다. 이 작업을 통해 대규모 데이터 세트에서 관련 하위 집합을 추출할 수 있습니다.

다음으로 "groupBy()" 및 "agg()" 메서드를 사용하여 데이터 세트에 대한 집계를 수행해 보겠습니다.

출력

여기에서는 데이터를 "성별" 열을 기준으로 그룹화하고 각 그룹의 평균 급여와 최대 연령을 계산합니다. 결과 "aggregated_data" 데이터 프레임은 데이터 세트에 대한 귀중한 통찰력을 제공합니다.

필터링 및 집계 외에도 PySpark를 사용하면 여러 데이터 세트를 효율적으로 조인할 수 있습니다. "df1"과 "df2"라는 두 개의 DataFrame이 있는 예를 고려해 보겠습니다. 공통 열을 기반으로 참여할 수 있습니다:

출력

`join()` 메서드를 사용하면 `on` 매개변수로 지정된 공통 열을 기반으로 DataFrame을 병합할 수 있습니다. 필요에 따라 "내부", "외부", "왼쪽" 또는 "오른쪽"과 같은 다양한 연결 유형을 선택할 수 있습니다.

3부: 고급 PySpark 기술

이 섹션에서는 데이터 처리 기능을 더욱 향상시키기 위한 고급 PySpark 기술을 살펴보겠습니다. UDF(사용자 정의 함수), 창 함수, 캐싱과 같은 주제를 다룹니다. UDF를 정의하고 사용하는 것부터 시작해 보겠습니다.

출력

위 코드 조각에서는 주어진 입력을 제곱하는 데 사용되는 'square()'라는 간단한 UDF 함수를 정의했습니다. 그런 다음 'udf()' 함수를 사용하여 이 UDF를 등록하고 이를 'age' 열에 적용하여 DataFrame에 'age_squared'라는 새 열을 만듭니다.

PySpark는 특정 창 범위 내에서 계산을 수행할 수 있는 강력한 창 기능도 제공합니다. 직원당 평균 급여를 계산하기 위해 이전 행과 다음 행을 고려해 보겠습니다.

출력

위 발췌 코드에서는 "Window.orderBy()" 메서드를 사용하여 "id" 열을 기준으로 행 순서를 지정하는 창을 정의합니다. 그런 다음 "lag()" 및 "lead()" 함수를 사용하여 각각 이전 행과 다음 행에 액세스합니다. 마지막으로 현재 행과 그 이웃 행을 고려하여 평균 급여를 계산합니다.

마지막으로 캐싱은 반복 알고리즘이나 반복 계산의 성능을 향상시키는 PySpark의 중요한 기술입니다. `cache()` 메소드를 사용하여 DataFrame 또는 RDD를 메모리에 캐시할 수 있습니다.

캐싱은 출력을 표시하지 않지만, 캐시된 DataFrame을 사용하는 후속 작업은 데이터가 메모리에 저장되므로 더 빠릅니다.

결론

이 튜토리얼에서는 Python에서 대규모 데이터 세트를 처리하기 위한 PySpark의 기능을 살펴봅니다. 먼저 개발 환경을 설정하고 RDD 및 DataFrame에 데이터를 로드합니다. 그런 다음 데이터세트 필터링, 집계, 결합을 포함한 데이터 변환 및 분석 기술을 자세히 살펴보았습니다. 마지막으로 사용자 정의 함수, 창 함수, 캐싱과 같은 고급 PySpark 기술에 대해 논의합니다.

위 내용은 Python PySpark를 사용하여 대규모 데이터 세트 처리의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!