如何有效管理依赖关系以避免 Apache Spark 应用程序出现错误？

解决 Apache Spark 中的依赖关系问题

Apache Spark 应用程序在构建和部署过程中通常会遇到与依赖关系相关的问题。这些问题包括 java.lang.ClassNotFoundException、object x is not a member of package y 编译错误以及 java.lang.NoSuchMethodError.

动态类路径和依赖管理

Spark 的类路径是动态构建的以适应用户代码，可能会导致这些问题。此外，所使用的特定集群管理器（master）引入了进一步的考虑因素。

组件和类放置

Spark应用程序包含以下组件：

• 驱动程序：初始化应用程序并连接到集群管理器。
• 集群管理器：促进资源分配并将工作分配给执行器。
• 执行器：在集群节点上执行 Spark 任务。

每个组件的类放置如下所示：

< ;img src="https://i.sstatic.net/eGByZ.png" alt="如何有效管理依赖关系以避免 Apache Spark 应用程序出现错误？">

分发代码

了解类放置要求可以在组件之间正确分发代码：

• Spark 代码： 包含所有组件所需的库，并且必须在所有组件中可用三.
• 仅驱动程序代码：不需要分发给执行器的用户代码。
• 分布式代码：需要运行的用户代码在执行者上并且必须运送到

不同集群管理器中的依赖管理

独立：

• 要求所有驱动程序使用与 master 相同的 Spark 版本

YARN / Mesos:

• 允许每个应用程序使用不同的 Spark 版本。
• 驱动程序版本必须与编译和打包时使用的版本。
• Spark 依赖项，包括传递依赖项，必须包含在分布式 jars/archive 中。

使用 YARN 的建议方法

为了最大限度地减少依赖性问题，请考虑以下方法：

• 使用分布式代码创建一个库，作为常规 jar 和 fat jar。
• 创建依赖于分布式代码库和 Apache Spark（特定版本）的驱动程序应用程序。
• 将驱动程序应用程序打包为 fat jar。
• 使用 Spark.jars 参数指定分布式代码版本。
• 使用spark.yarn.archive参数提供包含Spark二进制文件的存档文件。

以上是如何有效管理依赖关系以避免 Apache Spark 应用程序出现错误？的详细内容。更多信息请关注PHP中文网其他相关文章！