Apache Flume是一种分布式，可靠和可用的系统，用于高效收集，聚合和将许多不同的来源的大量日志数据移动到集中式数据存储。
Apache Flume的使用不仅限于日志数据聚合。 由于数据源是可定制的，因此可以使用Flume来传输大量事件数据，包括但不限于网络流量数据，社交媒体生成数据，电子邮件消息以及几乎任何数据源。
目前有两个版本的代码行可用，0.9.x和1.x版本。“Flume 0.9.x用户指南”提供0.9.x跟踪的文档。本文档适用于1.4.x踪迹。
鼓励新用户和现有用户使用1.x版本，以便利用最新架构中提供的性能改进和配置灵活性。
2.环境要求Java运行时环境 - Java 1.7或更高版本
内存 -sources, channels 或 sinks使用，需配置足够的内存
磁盘空间 - 用于channels 或sinks使用的配置的足够的磁盘空间
目录权限 - agent使用的目录的读/写权限
3.数据流模型Flume事件被定义为数据流单元，其包含有效载荷字节和可选的一组字符串属性。Flume代理是一个（JVM）进程，它管理组件的事件流从外部源传递到下一个目标。
Flume源消耗由外部源（如Web服务器）传递给它的事件。外部源用特定的可以被目标Flume识别的格式发送给Flume。例如，一个Avro Flume源可以被用于接收来自Avro客户端或者是其它流中发送来自Avro sink事件的Flume代理的Avro事件。类似的流可以被定义使用一个Thrift Flume Source来接收来自Thrift Sink或Flume Thrift Rpc客户端，或者使用来自Flume thrift协议生成的任何语言编写的Thrift客户端的事件。当Flume源接收到一个事件时，它将其存储到一个或多个通道中。 该通道是一个被动存储，保持事件，直到它被Flume sink消耗。 文件通道是一个例子 - 它由本地文件系统支持。 接收器从通道中删除事件，并将其放入外部存储库（如HDFS（通过Flume HDFS sink）），或将其转发到流中下一个Flume代理（下一跳）的Flume源。 给定代理中的源和接收器与通道中分段的事件异步运行。
Flume允许用户建立多hop流，其中事件在到达最终目的地之前穿过多个代理。 它还允许为失败的hops提供fan-in和fan-out流，上下文路由和备份路由（故障切换）。
事件在每个代理的频道上进行。 然后将事件传递到流中的下一个代理或终端存储库（如HDFS）。 事件只有在存储在下一个代理的通道或终端存储库中之后才从通道中删除。 这是Flume中单跳消息传递语义如何提供流的端到端可靠性。
Flume采用transactional方式来保证事件的可靠传递。 source和sink分别在事务中封装存储/检索，由通道提供的事务来放置或提供事件。 这确保了事件集可以在流程中从点到点可靠地传递。 在多hop流程的情况下，来自上一hop的汇聚和来自下一跳的源都具有其事务运行，以确保数据被安全地存储在下一跳的信道中。
这些事件是在通道中进行的，它管理从故障中恢复。 Flume支持由本地文件系统支持的持久文件通道。 还有一个内存通道，它将事件简单地存储在内存中的队列中，速度更快，但当代理进程死机时仍然保留在内存通道中的任何事件都无法恢复。
4.下载点击这里，下载二进制包，解压安装包，目录结构如下：
Flume代理配置存储在本地配置文件中。 这是一个遵循Java属性文件格式的文本文件。 可以在同一配置文件中指定一个或多个代理的配置。 配置文件包括代理中每个源，宿和通道的属性，以及它们如何连接在一起以形成数据流。
流中的每个组件（源，宿或通道）具有特定类型和实例化的名称，类型和属性集。 例如，Avro源需要一个主机名（或IP地址）和一个端口号来接收数据。 内存通道可以具有最大队列大小（“容量”），并且HDFS接收器需要知道文件系统URI，创建文件的路径，文件轮换的频率（“hdfs.rollInterval”）等。组件的所有这些属性 需要在托管Flume代理的属性文件中设置。
代理需要知道要加载的单个组件以及它们如何连接以构成流。 这是通过列出代理中每个源，接收器和通道的名称，然后为每个接收器和源指定连接通道来完成的。 例如，代理程序通过称为文件通道的文件通道将来自Avro源的Avro源的事件流经HDFS sink hdfs-cluster1。 配置文件将包含这些组件的名称和文件通道作为avroWeb源和hdfs-cluster1 sink的共享通道。