Spark简介及其在Ubuntu下的安装使用(2)

例子不举了。如果要跑例子，需要先下载并引用scala，然后用sbt构建下spark。sbt是scala的构建工具，相当于是Java的maven。

下好的scala解压之后，是可以在SCALA_HOME/bin下执行scala进入scala命令环境的。完成构建之后（我下载的spark解压之后不需要sbt构建也可以直接run这些例子。），就可以跑例子了。

sbt/sbt package

构建之后。还需要先在$SPARK_HOME/conf/ 下修改那个spark-env.sh，在文件内添加一行"SCALA_HOME=xxx"。

./run spark.examples.SparkPi local

在跑这个例子的时候，可能输出结果会有一个NULL什么的错误，原因在于run这个文件里写的匹配example的路径是xxx-example-xxx.jar，而在SPARK_HOME/example/target/scalaxxxx路径下的jar包是xxx-example_xxx.jar的格式，问题出在"-"和"_"上。我手动改了下jar包的名字，你也可以在run的144-146行里把那个匹配规则改一下，很简单的。

做了以上的事后，就可以慢慢试玩和探索Spark啦。当然这是本地一个standalone的部署，还可以加master和slave的集群部署。略了。

SparkPi这个例子的代码就不具体说了，下面我提供一些有帮助的文档链接，有助于spark的起步。就我今天网上google的结果看，好像也没有什么别的文档也可以参考了。基本上也就是我列举的这些，所以你看完这些应该就可以啦。

Spark 的详细介绍：请点这里
Spark 的下载地址：请点这里

相关阅读：

Spark简介及其在Ubuntu下的安装使用

安装Spark集群(在CentOS上)

Hadoop vs Spark性能对比

Spark 并行计算模型

参考

Spark安装与学习

centOS上安装Spark集群

淘宝博客里的几篇：

Spark随谈-翻译指南
Spark随谈-整体架构
Spark随谈-安装攻略