Apache Spark 애플리케이션에서 오류를 방지하기 위해 종속성을 효과적으로 관리하려면 어떻게 해야 합니까?

코드 배포

• Spark 코드: 모든 구성 요소에 필요한 라이브러리가 포함되어 있으며 사용 가능해야 합니다. 세 가지 모두에서.
• 드라이버 전용 코드: 실행자에게 배포할 필요가 없는 사용자 코드.
• 분산 코드: 필요한 사용자 코드 실행기에서 실행하려면 다음으로 배송되어야 합니다.

다양한 클러스터 관리자의 종속성 관리

독립형:

모든 드라이버에 다음 사항이 필요합니다. 마스터와 동일한 Spark 버전을 사용하고

YARN / Mesos:

각 애플리케이션에 대해 서로 다른 Spark 버전을 허용합니다.
• 드라이버 버전은 컴파일 및 패키징 중에 사용되는 버전입니다.
• 전이적 종속성을 포함한 Spark 종속성은 다음과 같아야 합니다.

YARN을 사용한 권장 접근 방식

일반 jar와 fat 모두로 분산 코드가 포함된 라이브러리 만들기 jar.
• 분산 코드 라이브러리 및 Apache Spark(특정 버전)에 종속된 드라이버 애플리케이션을 생성합니다.
• 드라이버 애플리케이션을 fat jar로 패키징합니다.
• Spark.jars 매개변수를 사용하여 분산 코드 버전을 지정하세요.
• Spark.yarn.archive 매개변수를 사용하여 Spark가 포함된 아카이브 파일을 제공하세요. 바이너리.

위 내용은 Apache Spark 애플리케이션에서 오류를 방지하기 위해 종속성을 효과적으로 관리하려면 어떻게 해야 합니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!