Kafka 入门三问 (3)

Kafka 支持多个消费者从一个单独的流系统上读取数据。 而且消费者之间互不影响。 多个消费者组成一个群组, 共享一个消息流, 并保证整个群主对每个给定消息只处理一次。

2.3 磁盘数据存储

Kafka 不仅支持多个消费者, 还允许消费者非实时地读取消息, 这要归功于 Kafka 的数据保留特性。 每个主题可以单独设置保留规则, 以便满足不同消费者的需求。 同时, 消费者可能因为处理速度慢或突发的流量高峰导致无法及时读取消息, 持久化可以保证数据不会丢失。

2.4 伸缩性

用户可以开始时只使用单个 broker, 后续随着数据量的增加, 不断的增加 broker 的数量。 多个 broker 可以很好的进行容错,容灾处理。

2.5 高性能

通过进行横向扩展生产者, 消费者和 broker, Kafka 可以轻松的处理巨大的数据流。

3 怎么使用 Kafka

我这次的使用安装是在 windows 上的(单机版)。

3.1 安装 JDK

JDK 怎么安装就不说了, 网上搜一下就出来了。

3.2 安装 zookeeper 3.2.1 下载

网址 , 从中选择一个镜像地址, 下载最新的稳定版本, 我的版本是

zookeeper-3.4.13.tar.gz

3.2.2 解压

解压到指定的目录下, 我的 zookeeper 目录

D:\Program Files\zookeeper-3.4.13

3.2.3 修改配置文件

首先, 需要重命名, 打开

zookeeper-3.4.13\conf

将 “zoo_sample.cfg” 重命名为 “zoo.cfg ”。

打开 zoo.cfg, 更改数据目录

dataDir=D:\Program Files\zookeeper-3.4.13\temp

3.2.4 添加系统变量

在系统环境变量中添加 ZOOKEEPER_HOME, 值为 D:\Program Files\zookeeper-3.4.13

编辑已有的 path 系统变量,添加路径:%ZOOKEEPER_HOME%\bin

3.2.5 测试安装是否成功

管理员的权限打开 cmd, 运行 zkServer

zookeeper运行

测试成功。

3.3 安装 Kafka 3.3.1 下载

网址 , 选择指定的版本(我的是 kafka_2.12-1.0.0.tgz), 并选择相应的镜像进行下载。

3.3.2 解压

解压到指定的目录下, 我的 zookeeper 目录

D:\Program Files\kafka_2.12-1.0.0

3.3.3 修改配置文件

打开

kafka_2.12-1.0.0\config\server.properties

找到以下配置, 并修改

// log 目录 log.dirs=D:\\Program Files\\kafka_2.12-1.0.0\\kafka-logs // zookeeper zookeeper.connect=localhost:2181 3.4 测试 3.4.1 启动 zookeeper

管理员的权限打开 cmd, 运行 zkServer

zookeeper运行

不要关闭!!

3.4.2 启动 Kafka 服务器

打卡 cmd 命令窗口, 打开kafka所在安装目录。

D:\Program Files\kafka_2.12-1.0.0

打开kafka所在安装目录

输入

.\bin\windows\kafka-server-start.bat .\config\server.properties

启动成功, 不要关闭

3.4.3 创建 topic

打卡 cmd 命令窗口, 打开kafka所在安装目录。

运行

.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic hello

创建hello话题

3.4.4 创建生产者

打卡 cmd 命令窗口, 打开kafka所在安装目录。

运行

.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic hello

创建生产者

可以随便输入一些内容

3.4.4 创建消费者

打卡 cmd 命令窗口, 打开kafka所在安装目录

运行

.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic hello --from-beginning

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/wppdgx.html