对于Kafka这种通过网络进行大数据传输的框架,带宽容易成为瓶颈。
普通的以太网络,带宽主要有两种:1Gbps的千兆网络和10Gbps的万兆网络,特别是千兆网络应该是一般公司网络的标准配置了
以千兆网络为例,说明带宽资源规划。
真正要规划的是所需的Kafka服务器的数量。
假设机房环境是千兆网络,即1Gbps,现在有业务,其目标或SLA是在1小时内处理1TB的业务数据。
那么问题来了,你到底需要多少台Kafka服务器来完成这个业务呢?
带宽1Gbps,即每秒处理1Gb数据
假设每台Kafka服务器都是安装在专属机器,即每台Kafka机器上没有混入其他服务
通常情况下你只能假设Kafka会用到70%的带宽资源,因为总要为其他应用或进程留一些资源。超过70%的阈值就有网络丢包可能性,故70%的设定是一个比较合理的值,也就是说单台Kafka服务器最多也就能使用大约700Mb带宽。
这只是它能使用的最大带宽资源,你不能让Kafka服务器常规性使用这么多资源,故通常要再额外预留出2/3的资源,即
单台服务器使用带宽700Mb / 3 ≈ 240Mbps
这里的2/3其实是相当保守的,可以结合机器使用情况酌情减少该值
有了240Mbps,可以计算1小时内处理1TB数据所需的服务器数量了。
根据这个目标,每秒需要处理2336Mb的数据,除以240,约等于10台服务器。
如果消息还需要额外复制两份,那么总的服务器台数还要乘以3,即30台。
与其盲目上马一套Kafka环境然后事后费力调整,不如在一开始就思考好实际场景下业务所需的集群环境。在考量部署方案时需要通盘考虑,不能仅从单个维度上进行评估。
参考Linux内核模型架构
Kafka核心技术与实战