大数据基础——大数据处理架构Hadoop **组件** **功能**
功能
HDFS 分布式文件系统分布式文件系统
MapReduce 分布式并行编程模型分布式并行编程模型
YARN 资源管理和调度器资源管理和调度器
Tez 运行在YARN之上的下一代Hadoop查询处理框架运行在YARN之上的下一代Hadoop查询处理框架
Hive Hadoop上的数据仓库Hadoop上的数据仓库
HBase Hadoop上的非关系型的分布式数据库Hadoop上的非关系型的分布式数据库
Pig 一个基于Hadoop的大规模数据分析平台，提供类似SQL的查询语言Pig Latin一个基于Hadoop的大规模数据分析平台，提供类似SQL的查询语言Pig Latin
Sqoop 用于在Hadoop与传统数据库之间进行数据传递用于在Hadoop与传统数据库之间进行数据传递
Oozie Hadoop上的工作流管理系统Hadoop上的工作流管理系统
Zookeeper 提供分布式协调一致性服务提供分布式协调一致性服务
Storm 流计算框架流计算框架
Flume 一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统
Ambari Hadoop快速部署工具，支持Apache Hadoop集群的供应、管理和监控Hadoop快速部署工具，支持Apache Hadoop集群的供应、管理和监控
Kafka 一种高吞吐量的分布式发布订阅消息系统，可以处理消费者规模的网站中的所有动作流数据一种高吞吐量的分布式发布订阅消息系统，可以处理消费者规模的网站中的所有动作流数据
Spark 类似于Hadoop MapReduce的通用并行框架类似于Hadoop MapReduce的通用并行框架