Flume+Kafka+Storm整合

Flume+Kafka+Storm整合

<span>1. 需求:span>

有一个客户端Client可以产生日志信息,我们需要通过Flume获取日志信息,再把该日志信息放入到Kafka的一个Topic:flume-to-kafka

再由Storm读取该topic:flume-to-kafka,进行日志分析处理(这里我们做的逻辑处理为filter,即过滤日志信息),处理完日志信息后,再由Storm把处理好的日志信息放入到Kafka的另一个topic:storm-to-kafka

Flume+Kafka+Storm整合

2.组件分布情况

我总共搭建了3个节点node1,node2,node3

Zookeeper安装在node1,node2,nod3

Flume安装在node2

Kafka安装在node1,node2,node3

Storm安装在node1,node2,node3

Flume+Kafka+Storm整合

 

3.JDK安装

--在node1, node2, node3上面安装jdk --install JDK -- (LInux安装jdk的三种方法) --解压安装 rpm -ivh your-package.rpm --修改环境变量 vi /etc/profile JAVA_HOME=http://www.likecs.com/usr/java/jdk1.7.0_67 JRE_HOME=http://www.likecs.com/usr/java/jdk1.7.0_67/jre CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin export JAVA_HOME JRE_HOME CLASS_PATH PATH :wq --使配置有效 source /etc/profile

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/wppgjj.html