Spark - 经典案例

首先将 Scala SDK 的源码导入 IDEA，方便查看和调试代码，具体参考：intellij idea查看scala sdk的源代码

WordCount

WordCount 号称大数据界的 HelloWorld，初识大数据代码，从 WordCount 开始，其基本流程图如下：

相关代码如下：

import org.apache.spark.SparkConf import org.apache.spark.SparkContext object WordCount { def main(args: Array[String]) { if (args.length < 1) { System.err.println("Usage: <file>") System.exit(1) } // 创建 SparkConf val conf = new SparkConf() conf.setAppName("WordCount") .setMaster("local") // 创建 SparkContext val sc = new SparkContext(conf) // 数据处理 val line = sc.textFile(args(0)) line.flatMap(_.split("\\s+")) .map((_, 1)) .reduceByKey(_+_) .collect.foreach(println) // 关闭 SparkContext sc.stop } }