1.创建topic bin/kafka-topics.sh --create --zookeeper IP:2181 --replication-factor 1 --partitions 2 --topic topic-003-name (IP不能是localhost)()
2.再开一个窗口,分别启动productor和consumer
3.启动productor
bin/kafka-console-producer.sh --broker-list 192.168.197.142:9092 --topic lilu
4.启动consumer(注意两个命令的区别,IP后面的端口也是不一样的)
bin/kafka-console-consumer.sh --zookeeper 192.168.197.142:2181 --topic lilu
5.在productor端输入,看consumer端的输出
6.备注:在操作过程中jps -l 的时候有时候会发现同时启动了多个zk或者kafka,这个时候把多余的杀死 kill -USR2 3417 (温柔的杀死)kill -9 3417(强制杀死,最好用前一个);如果操作过程没有问题那就是输入的命令有问题,再返回去自己检查看是哪里输错了
五、生成日志
1.脚本准备 修改shelllogger.sh
2.启动nohup sh shelllogger.sh &
我习惯用bash ./shelllogger.sh & (运行这个脚本,生成access.log) 注意:一定不要丢了&符号,如果没有& ,脚本会自动停止,crtl+c 就会杀死这个进程
3.启动后输入 tail -f access.log (查看是否在动态打印,就是程序是否运行着,如果运行就没什么问题,要是不动态就说明配置有问题)
4.将日志实时传送到kafka指定主题中:
在kafka目录下执行
nohup tail -f /home/storm/access.log | bin/kafka-console-producer.sh --broker-list 192.168.197.142:9092 --topic name >logs/producer.log 2>&1 &
5.总结一下,大多数遇到的问题都是命令输错了,或者是IP地址输错了,或者是java没安好,我还没有遇到java的问题,然后每次到启动producer的时候就会出问题,有的是配置文件没source,还有是ip地址输的是主机名,还有是运行脚本文件的时候少了&,还有是把consumer和producer命令输错了,然后其他的问题遇到了再补充。
Ubuntu 14.04安装分布式存储Sheepdog+ZooKeeper
CentOS 6安装sheepdog 虚拟机分布式储存