MapReduce\Tez\Storm\Spark四个框架的异同
1) MapReduce:是一种离线计算框架,将一个算法抽象成Map和
Reduce两个阶段进行处理,非常适合数据密集型计算。
2) Spark:MapReduce计算框架不适合迭代计算和交互式计算
,MapReduce是一种磁盘计算框架,而Spark
则是一种内存计算框架,它将数据尽可能放到内存中以提高迭代应用和交互式应用的计算效率。
3) Storm:MapReduce
也不适合进行流式计算、实时分析,比如广告点击计算等,而Storm
则更擅长这种计算、它在实时性要远远好于MapReduce计算框架。
4)Tez: 运行在YARN之上支持DAG作业的计算框架,对
MapReduce数据处理的归纳。它把Map/Reduce
过程拆分成若干个子过程,同时可以把多个Map/Reduce任务组合成一个较大的DAG
任务,减少了Map/Reduce