测试Kafka生产速率和CPU消耗

测试场景

本章节从批处理大小、是否跨AZ生产、副本数、同步/异步复制的维度进行分布式消息服务Kafka版的性能测试，对比客户端消息生产速率和服务端CPU消耗，得出性能测试结果。

• 测试场景一（批处理大小）：相同的Kafka实例和Topic，不同的batch.size
• 测试场景二（是否跨AZ生产）：相同的Kafka实例和Topic，生产客户端和服务端在不同的AZ中
• 测试场景三（副本数）：相同的Kafka实例，不同的Topic副本数
• 测试场景四（同步/异步复制）：相同的Kafka实例，不同复制机制的Topic

测试环境

进行性能测试前，您需要先构建如下的测试环境：

1. 购买一个Kafka实例，参数信息如下，购买方法请参考购买Kafka实例。
   • 区域：华北-北京四
   • 项目：华北-北京四
   • 可用区：可用区1
   • 实例名称：kafka-test
   • 企业项目：default
   • 版本：2.7
   • 代理规格：kafka.2u4g.cluster
   • 代理个数：3
   • 存储空间：超高I/O，200GB
   • 容量阈值策略：自动删除
   • 虚拟私有云：选择虚拟私有云
   • 安全组：选择安全组
   • 内网访问：开启“明文接入”
   • 公网访问：不开启
   • 更多配置：不开启“Smart Connect”和“Kafka自动创建Topic”

   购买完成后，在实例详情页获取Kafka实例的地址。

   

2. 在购买的Kafka实例中，创建如下参数的3个Topic，具体步骤请参考创建Kafka Topic。
   • Topic-01：3分区1副本，异步复制
   • Topic-02：3分区3副本，异步复制
   • Topic-03：3分区3副本，同步复制
3. 获取测试工具。

   获取Kafka命令行工具2.7.2版本。

4. 购买客户端服务器。
   购买如下参数的2台ECS服务器，具体步骤请参考购买弹性云服务器。

   • 区域、可用区、虚拟私有云、子网、安全组与Kafka实例保持一致，规格为4U8G，Linux系统的ECS。
   • 区域、虚拟私有云、子网、安全组与Kafka实例保持一致，“可用区”为“可用区2”，规格为4U8G，Linux系统的ECS。

   购买完成ECS后，需要在ECS中完成以下配置：

   • 安装Java JDK，并配置JAVA_HOME与PATH环境变量。

     export JAVA_HOME=/root/jdk1.8.0_231 
     export PATH=$JAVA_HOME/bin:$PATH

   • 下载Kafka命令行工具2.7.2版本，并解压。

     tar -zxf kafka_2.12-2.7.2.tgz

测试脚本

./kafka-producer-perf-test.sh --producer-props bootstrap.servers=${连接地址} acks=1 batch.size=${batch.size} linger.ms=0 --topic ${Topic名称} --num-records ${num-records} --record-size 1024 --throughput -102400

• bootstrap.servers：购买Kafka实例中获取的Kafka实例的地址。
• acks：消息主从同步策略，acks=1表示异步复制消息，acks=-1表示同步复制消息。
• batch.size：每次批量发送消息的大小（单位为字节）。
• linger.ms：两次发送时间间隔。
• topic：创建Topic中设置的Topic名称。
• num-records：总共需要发送的消息数。
• record-size：每条消息的大小。
• throughput：每秒发送的消息数。

测试步骤

测试场景一：批处理大小

1. 登录客户端服务器，进入“kafka_2.12-2.7.2/bin”目录下，执行以下脚本。
   batch.size=1KB，执行脚本如下：

   ./kafka-producer-perf-test.sh --producer-props bootstrap.servers=192.168.0.69:9092,192.168.0.42:9092,192.168.0.66:9092 acks=1 batch.size=1024 linger.ms=0 --topic Topic-01 --num-records 8000000 --record-size 1024 --throughput 102400

   执行结果如下：

   8000000 records sent, 34128.673632 records/sec (33.33 MB/sec), 879.91 ms avg latency, 4102.00 ms max latency, 697 ms 50th, 2524 ms 95th, 2888 ms 99th, 4012 ms 99.9th.

   客户端消息生产速率=34128

   batch.size=16KB，执行脚本如下：

   ./kafka-producer-perf-test.sh --producer-props bootstrap.servers=192.168.0.69:9092,192.168.0.42:9092,192.168.0.66:9092 acks=1 batch.size=16384 linger.ms=0 --topic Topic-01 --num-records 100000000 --record-size 1024 --throughput 102400

   执行结果如下：

   100000000 records sent, 102399.318430 records/sec (100.00 MB/sec), 4.72 ms avg latency, 914.00 ms max latency, 1 ms 50th, 5 ms 95th, 162 ms 99th, 398 ms 99.9th.

   客户端消息生产速率=102399

2. 登录Kafka实例控制台，单击测试实例名称，进入实例详情页。
3. 在左侧导航栏单击“监控”，进入监控页面。
4. 在“节点”页签，查看服务端节点的CPU使用率。
   图1 broker-0的CPU使用率（batch.size=1KB）
   

   CPU消耗=58.10%

   图2 broker-0的CPU使用率（batch.size=16KB）
   

   CPU消耗=24.10%

   图3 broker-1的CPU使用率（batch.size=1KB）
   

   CPU消耗=56.70%

   图4 broker-1的CPU使用率（batch.size=16KB）
   

   CPU消耗=25%

   图5 broker-2的CPU使用率（batch.size=1KB）
   

   CPU消耗=53.30%

   图6 broker-2的CPU使用率（batch.size=16KB）
   

   CPU消耗=23.30%

测试场景二：是否跨AZ生产

1. 登录客户端服务器，进入“kafka_2.12-2.7.2/bin”目录下，执行以下脚本。

   客户端服务器和实例在相同的AZ中，执行脚本如下：

   ./kafka-producer-perf-test.sh --producer-props bootstrap.servers=192.168.0.69:9092,192.168.0.42:9092,192.168.0.66:9092 acks=1 batch.size=1024 linger.ms=0 --topic Topic-01 --num-records 8000000 --record-size 1024 --throughput 102400

   执行结果如下：

   8000000 records sent, 34128.673632 records/sec (33.33 MB/sec), 879.91 ms avg latency, 4102.00 ms max latency, 697 ms 50th, 2524 ms 95th, 2888 ms 99th, 4012 ms 99.9th.

   客户端消息生产速率=34128

   客户端服务器和实例在不同的AZ中，执行脚本如下：

   ./kafka-producer-perf-test.sh --producer-props bootstrap.servers=192.168.0.69:9092,192.168.0.42:9092,192.168.0.66:9092 acks=1 batch.size=1024 linger.ms=0 --topic Topic-01 --num-records 4000000 --record-size 1024 --throughput 102400

   执行结果如下：

   4000000 records sent, 8523.042044 records/sec (8.32 MB/sec), 3506.20 ms avg latency, 11883.00 ms max latency, 1817 ms 50th, 10621 ms 95th, 11177 ms 99th, 11860 ms 99.9th.

   客户端消息生产速率=8523

2. 登录Kafka实例控制台，单击测试实例名称，进入实例详情页。
3. 在左侧导航栏单击“监控”，进入监控页面。
4. 在“节点”页签，查看服务端节点的CPU使用率。
   图7 broker-0的CPU使用率（客户端服务器和实例在相同的AZ中）
   

   CPU消耗=58.10%

   图8 broker-0的CPU使用率（客户端服务器和实例在不同的AZ中）
   

   CPU消耗=17.20%

   图9 broker-1的CPU使用率（客户端服务器和实例在相同的AZ中）
   

   CPU消耗=56.70%

   图10 broker-1的CPU使用率（客户端服务器和实例在不同的AZ中）
   

   CPU消耗=16.70%

   图11 broker-2的CPU使用率（客户端服务器和实例在相同的AZ中）
   

   CPU消耗=53.30%

   图12 broker-2的CPU使用率（客户端服务器和实例在不同的AZ中）
   

   CPU消耗=18.80%

测试场景三：副本数

1. 登录客户端服务器，进入“kafka_2.12-2.7.2/bin”目录下，执行以下脚本。

   1副本，执行脚本如下：

   ./kafka-producer-perf-test.sh --producer-props bootstrap.servers=192.168.0.69:9092,192.168.0.42:9092,192.168.0.66:9092 acks=1 batch.size=1024 linger.ms=0 --topic Topic-01 --num-records 8000000 --record-size 1024 --throughput 102400

   执行结果如下：

   8000000 records sent, 34128.673632 records/sec (33.33 MB/sec), 879.91 ms avg latency, 4102.00 ms max latency, 697 ms 50th, 2524 ms 95th, 2888 ms 99th, 4012 ms 99.9th.

   客户端消息生产速率=34128

   3副本，执行脚本如下：

   ./kafka-producer-perf-test.sh --producer-props bootstrap.servers=192.168.0.69:9092,192.168.0.42:9092,192.168.0.66:9092 acks=1 batch.size=1024 linger.ms=0 --topic Topic-02 --num-records 4000000 --record-size 1024 --throughput 102400

   执行结果如下：

   4000000 records sent, 14468.325219 records/sec (14.13 MB/sec), 2069.99 ms avg latency, 7911.00 ms max latency, 846 ms 50th, 6190 ms 95th, 6935 ms 99th, 7879 ms 99.9th.

   客户端消息生产速率=14468

2. 登录Kafka实例控制台，单击测试实例名称，进入实例详情页。
3. 在左侧导航栏单击“监控”，进入监控页面。
4. 在“节点”页签，查看服务端节点的CPU使用率。
   图13 broker-0的CPU使用率（1副本）
   

   CPU消耗=58.10%

   图14 broker-0的CPU使用率（3副本）
   

   CPU消耗=86.70%

   图15 broker-1的CPU使用率（1副本）
   

   CPU消耗=56.70%

   图16 broker-1的CPU使用率（3副本）
   

   CPU消耗=80.60%

   图17 broker-2的CPU使用率（1副本）
   

   CPU消耗=53.30%

   图18 broker-2的CPU使用率（3副本）
   

   CPU消耗=86.20%

测试场景四：同步/异步复制

1. 登录客户端服务器，进入“kafka_2.12-2.7.2/bin”目录下，执行以下脚本。

   异步复制，执行脚本如下：

   ./kafka-producer-perf-test.sh --producer-props bootstrap.servers=192.168.0.69:9092,192.168.0.42:9092,192.168.0.66:9092 acks=1 batch.size=1024 linger.ms=0 --topic Topic-02 --num-records 4000000 --record-size 1024 --throughput 102400

   执行结果如下：

   4000000 records sent, 14468.325219 records/sec (14.13 MB/sec), 2069.99 ms avg latency, 7911.00 ms max latency, 846 ms 50th, 6190 ms 95th, 6935 ms 99th, 7879 ms 99.9th.

   客户端消息生产速率=14468

   同步复制，执行脚本如下：

   ./kafka-producer-perf-test.sh --producer-props bootstrap.servers=192.168.0.69:9092,192.168.0.42:9092,192.168.0.66:9092 acks=-1 batch.size=1024 linger.ms=0 --topic Topic-03 --num-records 1000000 --record-size 1024 --throughput 102400

   执行结果如下：

   1000000 records sent, 3981.937930 records/sec (3.89 MB/sec), 7356.98 ms avg latency, 19013.00 ms max latency, 6423 ms 50th, 14381 ms 95th, 18460 ms 99th, 18975 ms 99.9th.

   客户端消息生产速率=3981

2. 登录Kafka实例控制台，单击测试实例名称，进入实例详情页。
3. 在左侧导航栏单击“监控”，进入监控页面。
4. 在“节点”页面，查看服务端节点的CPU使用率。
   图19 broker-0的CPU使用率（异步复制）
   

   CPU消耗=86.70%

   图20 broker-0的CPU使用率（同步复制）
   

   CPU消耗=60%

   图21 broker-1的CPU使用率（异步复制）
   

   CPU消耗=80.60%

   图22 broker-1的CPU使用率（同步复制）
   

   CPU消耗=55.20%

   图23 broker-2的CPU使用率（异步复制）
   

   CPU消耗=86.20%

   图24 broker-2的CPU使用率（同步复制）
   

   CPU消耗=50%

测试结果

通过上表的测试结果，得出以下结论，仅供参考：

• 生产请求的batch.size变大16倍时，客户端消息生产速率增加，服务端CPU消耗减少。
• 同AZ生产和跨AZ生产相比，客户端消息生产速率增加，服务端CPU消耗也随之增加。
• 副本从1变成3时，客户端消息生产速率下降较多，服务端CPU消耗增加。
• 异步复制的Topic和同步复制的Topic相比，客户端消息生产速率增加，服务端CPU消耗也随之增加。