更新时间:2024-07-24 GMT+08:00
修改Kafka Topic配置
操作场景
用户可以根据业务需要,使用集群客户端创建Kafka Topic。启用Kerberos认证的集群,需要拥有管理Kafka主题的权限。也可以通过KafkaUI修改Topic Configs。
- 安全模式下,KafkaUI对修改Topic Configs场景,需保证KafkaUI登录用户属于“kafkaadmin”用户组或者单独给用户授予对应操作权限,否则将会鉴权失败。
- 非安全模式下,KafkaUI对所有操作不作鉴权处理。
- 该章节仅适用MRS 3.x及之后版本。
使用Kafka客户端修改Kafka Topic
- 进入ZooKeeper实例页面:
登录FusionInsight Manager,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。然后选择“集群 > 服务 > ZooKeeper > 实例”。
- 查看ZooKeeper角色实例的IP地址。
记录ZooKeeper角色实例其中任意一个的IP地址即可。
- 根据业务情况,准备好客户端,登录安装客户端的节点。
请根据客户端所在位置,参考使用MRS客户端章节,登录安装客户端的节点。
- 执行以下命令,切换到客户端目录,例如“/opt/client/Kafka/kafka/bin”。
cd /opt/client/Kafka/kafka/bin
- 执行以下命令,配置环境变量。
source /opt/client/bigdata_env
- 执行以下命令,进行用户认证。(普通模式跳过此步骤)
kinit 组件业务用户
- 使用kafka-topics.sh修改主题:
./kafka-topics.sh --alter --topic 主题名称 --config 配置项=配置值 --zookeeper ZooKeeper的任意一个节点的业务IP:clientPort/kafka
- 使用kafka-topics.sh查看修改后主题:
- ./kafka-topics.sh --describe --zookeeper ZooKeeper的任意一个节点的业务IP:clientPort/kafka --topic 主题名称
- ./kafka-topics.sh --describe --bootstrap-server Kafka集群IP:21007 --command-config ../config/client.properties --topic 主题名称
使用KafkaUI修改Kafka Topic(MRS 3.1.2及之后版本)
- 进入KafkaUI界面。
- 使用具有KafkaUI页面访问权限的用户登录FusionInsight Manager,选择“集群 > 服务 > Kafka”。
如需在页面上进行相关操作,例如创建Topic,需同时授予用户相关权限,请参考Kafka用户权限说明。
- 在“KafkaManager WebUI”右侧,单击URL链接,访问KafkaUI的页面。
- 使用具有KafkaUI页面访问权限的用户登录FusionInsight Manager,选择“集群 > 服务 > Kafka”。
- 单击“Topics”,进入Topic管理页面。
- 在待修改项的“Operation”列单击“Action > Config”,弹出的页面中可修改Topic的“Key”和“Value”值,如需要添加多条,可单击添加。
- 单击“OK”完成修改。
父主题: 管理Kafka Topic