[大数据之Spark]——快速入门 (2)

应用依赖于spark api，因此需要在程序中配置sbt的配置文件——simple.sbt，它声明了spark的依赖关系。

name := "Simple Project" version := "1.0" scalaVersion := "2.11.7" libraryDependencies += "org.apache.spark" %% "spark-core" % "2.0.0"

为了让sbt正确的工作，还需要创建SimpleApp.scala以及simple.sbt。然后就可以执行打包命令，通过spark-submit运行了：

# Your directory layout should look like this 你的工程目录应该向下面这样 $ find . . ./simple.sbt ./src ./src/main ./src/main/scala ./src/main/scala/SimpleApp.scala # Package a jar containing your application 运行sbt命令进行打包 $ sbt package ... [info] Packaging {..}/{..}/target/scala-2.11/simple-project_2.11-1.0.jar # Use spark-submit to run your application 通过spark-submit提交任务jar包 $ YOUR_SPARK_HOME/bin/spark-submit \ --class "SimpleApp" \ --master local[4] \ target/scala-2.11/simple-project_2.11-1.0.jar ... Lines with a: 46, Lines with b: 23 其他地址

通过上面的例子，就可以运行起来自己的Spark应用了。

那么可以参考下面的链接获得更多的内容:

为了更深入的学习，可以阅读Spark编程指南

如果想要运行Spark集群，可以参考部署指南

最后，Spark在examples目录中内置了多种语言版本的例子，如scala,java,python,r等等。你可以通过下面的命令运行:

# For Scala and Java, use run-example: ./bin/run-example SparkPi # For Python examples, use spark-submit directly: ./bin/spark-submit examples/src/main/python/pi.py # For R examples, use spark-submit directly: ./bin/spark-submit examples/src/main/r/dataframe.R