Spark 源码和应用开发环境的构建

日期：2020-06-21 栏目：程序人生浏览：次

调试与阅读 Spark 源代码无疑是深入学习 Spark 内部原理的有效途径，本文基于作者亲身实践，针对常用的开发工具，快速的构建 Spark 的源代码开发调试环境，从而帮助读者能够快速进入 Spark 内部的学习。

引言

Spark 现在无疑是大数据领域最热门的技术之一，读者很容易搜索到介绍如何应用 Spark 技术的文章，但是作为开发人员，在了解了应用的概念之后，更习惯的是打开开发环境，开发一些应用来更深入的学习 spark 知识，在遇到问题的时候，也希望能够深入调试 Spark 源代码来解决问题。但是由于 Spark 技术本身较新，对于初学者，在构建开发调试环境的过程中，总会遇到这样那样的问题。而其使用的 Scala 语言，SBT 构建工具相对于 Java 语言，Maven 构建工具而言，也比较小众，因些在 Web 上能够参考的信息相对也比较少。本文结合作者的实践，从 Spark 的源码开始编译整个项目，同时给出了一些在编译过程中可能出现的问题，供使用参考。文中各步骤展示的编译方法主要用于方便学习 Spark 源码，若仅需要编写 Spark 应用则不需要如此繁复的流程，具体引用方法可参考最后一章。

环境要求

系统：Windows/Linux/Mac OS

IDE：Eclipse/IntelliJ

其他依赖：Scala，Sbt，Maven

Eclipse 下开发调试环境的配置

该小节中使用的各项工具分别为：Windows 7+Eclipse Java EE 4.4.2+Scala 2.10.4+Sbt 0.13.8+Maven3.3.3，测试的 Spark 版本为 1.4.0。

1.配置 IDE：

如图 1 所示，选择菜单项 Help->Install new software，添加站点，选择安装 Scala IDE for Eclipse 以及 Scala IDE Plugins。

图 1. 配置 IDE

对于标准版 Eclipse，还需要安装单独的 Maven 插件。

出于配置简便考虑，也可以使用 Scala 官方提供的已将所有依赖打包好的 Scala IDE。

特别的，由于项目本身存在一些错误，请先暂时关闭 Project->Build Automatically 的功能以节省时间。

2.下载 Spark 源代码：

创建空目录，执行如下语句：git clone https://github.com/apache/spark.git

除了使用 git 指令之外，也可以从 Spark 的 Github 页面下载打包好的源代码。

3.将源码转化为 Eclipse 项目：

进入源代码根目录，执行如下语句：sbt eclipse。Sbt 执行期间会下载 Spark 所需要的所有 jar 包，因此该步骤会花费很长的时间。其中有一些 jar 包需要使用网络代理等方法才能下载。执行成功之后会有如图 2 的输出。

图 2. 转化为 Eclipse 项目

4.导入项目至 Eclipse：

选择菜单项 File->Import，并选择 General->Existing Projects into Workspace，项目的根路径选择源代码的根路径，导入所有项目（共有 25 个）。

5.修改 Scala 版本：

进入 Preference->Scala->Installations，添加机器上安装的 Scala 2.10.4（选择 lib 目录）。由于该版本 Spark（1.4.0）是在 Scala 2.10.4 的环境下编写的，需要在 Eclipse 中修改项目使用的 Scala 版本。方法为：全选项目，右键选择 Scala->Set the Scala Installation 并选择相应的 Scala 版本。如图 3 所示。

图 3. 修改 Scala 版本