Kafka 支持多个消费者从一个单独的流系统上读取数据。 而且消费者之间互不影响。 多个消费者组成一个群组, 共享一个消息流, 并保证整个群主对每个给定消息只处理一次。
2.3 磁盘数据存储Kafka 不仅支持多个消费者, 还允许消费者非实时地读取消息, 这要归功于 Kafka 的数据保留特性。 每个主题可以单独设置保留规则, 以便满足不同消费者的需求。 同时, 消费者可能因为处理速度慢或突发的流量高峰导致无法及时读取消息, 持久化可以保证数据不会丢失。
2.4 伸缩性用户可以开始时只使用单个 broker, 后续随着数据量的增加, 不断的增加 broker 的数量。 多个 broker 可以很好的进行容错,容灾处理。
2.5 高性能通过进行横向扩展生产者, 消费者和 broker, Kafka 可以轻松的处理巨大的数据流。
3 怎么使用 Kafka我这次的使用安装是在 windows 上的(单机版)。
3.1 安装 JDKJDK 怎么安装就不说了, 网上搜一下就出来了。
3.2 安装 zookeeper 3.2.1 下载网址 , 从中选择一个镜像地址, 下载最新的稳定版本, 我的版本是
zookeeper-3.4.13.tar.gz
3.2.2 解压解压到指定的目录下, 我的 zookeeper 目录
D:\Program Files\zookeeper-3.4.13
3.2.3 修改配置文件首先, 需要重命名, 打开
zookeeper-3.4.13\conf
将 “zoo_sample.cfg” 重命名为 “zoo.cfg ”。
打开 zoo.cfg, 更改数据目录
dataDir=D:\Program Files\zookeeper-3.4.13\temp
3.2.4 添加系统变量在系统环境变量中添加 ZOOKEEPER_HOME, 值为 D:\Program Files\zookeeper-3.4.13。
编辑已有的 path 系统变量,添加路径:%ZOOKEEPER_HOME%\bin
3.2.5 测试安装是否成功以管理员的权限打开 cmd, 运行 zkServer。
测试成功。
3.3 安装 Kafka 3.3.1 下载网址 , 选择指定的版本(我的是 kafka_2.12-1.0.0.tgz), 并选择相应的镜像进行下载。
3.3.2 解压解压到指定的目录下, 我的 zookeeper 目录
D:\Program Files\kafka_2.12-1.0.0
3.3.3 修改配置文件打开
kafka_2.12-1.0.0\config\server.properties
找到以下配置, 并修改
// log 目录 log.dirs=D:\\Program Files\\kafka_2.12-1.0.0\\kafka-logs // zookeeper zookeeper.connect=localhost:2181 3.4 测试 3.4.1 启动 zookeeper以管理员的权限打开 cmd, 运行 zkServer。
不要关闭!!
3.4.2 启动 Kafka 服务器打卡 cmd 命令窗口, 打开kafka所在安装目录。
D:\Program Files\kafka_2.12-1.0.0
输入
.\bin\windows\kafka-server-start.bat .\config\server.properties启动成功, 不要关闭
3.4.3 创建 topic打卡 cmd 命令窗口, 打开kafka所在安装目录。
运行
.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic hello 3.4.4 创建生产者打卡 cmd 命令窗口, 打开kafka所在安装目录。
运行
.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic hello可以随便输入一些内容
3.4.4 创建消费者打卡 cmd 命令窗口, 打开kafka所在安装目录
运行
.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic hello --from-beginning