更新时间:2024-05-29 GMT+08:00

使用客户端连接Kafka(关闭SASL)

本章节介绍如何使用开源的Kafka客户端访问未开启SASL的Kafka实例的方法。

多语言客户端的使用,请参考Kafka官网:https://cwiki.apache.org/confluence/display/KAFKA/Clients

Kafka实例的每个代理允许客户端单IP连接的个数为1000个,如果超过了,会出现连接失败问题。您可以通过修改Kafka实例配置参数来修改单IP的连接数。

前提条件

  • 已配置正确的安全组。

    访问未开启SASL的Kafka实例时,实例需要配置正确的安全组规则,具体安全组配置要求,请参考表2

  • 已获取连接Kafka实例的地址。

    使用内网通过同一个VPC访问,实例端口为9092,实例连接地址获取如下图。

    图1 使用内网通过同一个VPC访问Kafka实例的连接地址(实例未开启SASL)
  • 如果Kafka实例未开启自动创建Topic功能,在连接实例前,请先创建Topic
  • 已下载Kafka命令行工具1.1.0版本或者Kafka命令行工具2.3.0版本或者Kafka命令行工具2.7.2版本,确保Kafka实例版本与命令行工具版本相同。
  • 已创建弹性云服务器,如果使用内网通过同一个VPC访问实例,请设置弹性云服务器的VPC、子网、安全组与Kafka实例的VPC、子网、安全组一致。在弹性云服务器中安装Java Development Kit 1.8.111或以上版本,并配置JAVA_HOME与PATH环境变量,具体方法如下:

    使用执行用户在用户家目录下修改“.bash_profile”,添加如下行。其中“/opt/java/jdk1.8.0_151”为JDK的安装路径,请根据实际情况修改。

    export JAVA_HOME=/opt/java/jdk1.8.0_151 
    export PATH=$JAVA_HOME/bin:$PATH

    执行source .bash_profile命令使修改生效。

命令行模式连接实例

以下操作命令以Linux系统为例进行说明:

  1. 解压Kafka命令行工具。

    进入文件压缩包所在目录,然后执行以下命令解压文件。

    tar -zxf [kafka_tar]

    其中,[kafka_tar]表示命令行工具的压缩包名称。

    例如:

    tar -zxf kafka_2.12-2.7.2.tgz

  2. 进入Kafka命令行工具的“/bin”目录下。

    注意,Windows系统下需要进入“/bin/windows”目录下。

  3. 执行如下命令进行生产消息。

    ./kafka-console-producer.sh --broker-list ${连接地址} --topic ${Topic名称}

    参数说明如下:

    • 连接地址:从前提条件中获取的连接地址。
    • Topic名称:Kafka实例下创建的Topic名称。如果Kafka实例开启了自动创建Topic功能,此参数值可以填写已创建的Topic名称,也可以填写未创建的Topic名称。

    以获取的Kafka实例连接地址为“10.xx.xx.45:9092,10.xx.xx.127:9092,10.xx.xx.103:9092”为例。执行完命令后输入内容,按“Enter”发送消息到Kafka实例,输入的每一行内容都将作为一条消息发送到Kafka实例。

    [root@ecs-kafka bin]# ./kafka-console-producer.sh --broker-list 10.xx.xx.45:9092,10.xx.xx.127:9092,10.xx.xx.103:9092  --topic topic-demo
    >Hello
    >DMS
    >Kafka!
    >^C[root@ecs-kafka bin]# 

    如需停止生产使用Ctrl+C命令退出。

  4. 执行如下命令消费消息。

    ./kafka-console-consumer.sh --bootstrap-server ${连接地址} --topic ${Topic名称} --group ${消费组名称} --from-beginning

    参数说明如下:

    • 连接地址:从前提条件中获取的连接地址。
    • Topic名称:Kafka实例下创建的Topic名称。
    • 消费组名称:根据您的业务需求,设定消费组名称。如果已经在配置文件中指定了消费组名称,请确保命令行中的消费组名称与配置文件中的相同,否则可能消费失败。消费组名称开头包含特殊字符,例如下划线“_”、#号“#”时,监控数据无法展示。

    示例如下:

    [root@ecs-kafka bin]#  ./kafka-console-consumer.sh --bootstrap-server 10.xx.xx.45:9092,10.xx.xx.127:9092,10.xx.xx.103:9092 --topic topic-demo --group order-test --from-beginning
    Kafka!
    DMS
    Hello
    ^CProcessed a total of 3 messages
    [root@ecs-kafka bin]# 

    如需停止消费使用Ctrl+C命令退出。