解法:
1.读取数据
2.数据清洗,变换数据格式
3.从新分区成一个分区
4.按照key排序,返还带有位次的元组
5.输出
@Test def filesort(): Unit ={ val source=sc.textFile("dataset/filesort.txt",3) var index=0 /* partitionBy:把所有的分区相关的数据组成一个新的分区 HashPartitioner(1):分成一个分区,使得在一个分区内总体有序 */ val result= source.filter(_.trim().length>0).map(n => (n.trim.toInt,"")) .partitionBy(new HashPartitioner(1)) .sortByKey().map( t=> { index+=1 (index,t._1) }) result.foreach(println(_)) }