Spark学习进度7-综合案例

综合案例 文件排序

Spark学习进度7-综合案例

 

 解法:

1.读取数据

2.数据清洗,变换数据格式

3.从新分区成一个分区

4.按照key排序,返还带有位次的元组

5.输出

@Test def filesort(): Unit ={ val source=sc.textFile("dataset/filesort.txt",3) var index=0 /* partitionBy:把所有的分区相关的数据组成一个新的分区 HashPartitioner(1):分成一个分区,使得在一个分区内总体有序 */ val result= source.filter(_.trim().length>0).map(n => (n.trim.toInt,"")) .partitionBy(new HashPartitioner(1)) .sortByKey().map( t=> { index+=1 (index,t._1) }) result.foreach(println(_)) }

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/wsfffz.html