从零开始使用Kafka
操作场景
用户可以在集群客户端完成Topic的创建、查询、删除等基本操作。可参考管理Kafka用户权限进行设置。
前提条件
已安装客户端,例如安装目录为“/opt/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。
使用Kafka客户端
- 安装客户端,具体请参考安装MRS客户端章节。
- 进入ZooKeeper实例页面:
登录FusionInsight Manager,具体请参见访问集群Manager。然后选择“集群 > 服务 > ZooKeeper > 实例”。
- 查看ZooKeeper角色实例的IP地址。
记录ZooKeeper角色实例其中任意一个的IP地址即可。
- 登录安装客户端的节点。
- 执行以下命令,切换到客户端目录,例如“/opt/client/Kafka/kafka/bin”。
cd /opt/client/Kafka/kafka/bin
- 执行以下命令,配置环境变量。
source /opt/client/bigdata_env
- 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。
kinit Kafka用户
- 登录FusionInsight Manager,选择“集群 > 服务 > ZooKeeper > 配置 > 全部配置”,搜索参数“clientPort”,记录“clientPort”的参数值。
- 创建一个Topic:
sh kafka-topics.sh --create --topic 主题名称 --partitions 主题占用的分区数 --replication-factor 主题的备份个数 --zookeeper ZooKeeper角色实例所在节点IP地址:clientPort/kafka
例如:sh kafka-topics.sh --create --topic TopicTest --partitions 3 --replication-factor 3 --zookeeper 10.10.10.100:2181/kafka
clientPort可在ZooKeeper的全部配置参数中搜索“clientPort”查看。默认端口如下:- 开源端口默认值为:2181
- 定制端口默认值为:24002
端口定制/开源区分:创建LTS版本类型集群时,可以选择“组件端口”为“开源”或是“定制”,选择“开源”使用开源端口,选择“定制”使用定制端口。
- 执行以下命令,查询集群中的Topic信息:
sh kafka-topics.sh --list --zookeeper ZooKeeper角色实例所在节点IP地址:clientPort/kafka
例如:sh kafka-topics.sh --list --zookeeper 10.10.10.100:2181/kafka
- 删除9中创建的Topic:
sh kafka-topics.sh --delete --topic 主题名称 --zookeeper ZooKeeper角色实例所在节点IP地址:clientPort/kafka
例如:sh kafka-topics.sh --delete --topic TopicTest --zookeeper 10.10.10.100:2181/kafka