分布式消息服务Kafka版
分布式消息服务Kafka版
- 最新动态
- 功能总览
- 服务公告
- 产品介绍
- 计费说明
- 快速入门
- 用户指南
- 最佳实践
- 开发指南
- API参考
- SDK参考
-
常见问题
-
实例问题
- 为什么可用区不能选择2个？
- 创建实例时为什么无法查看子网和安全组等信息？
- 如何选择Kafka实例的存储空间？
- Kafka实例的超高IO和高IO如何选择？
- 如何选择Kafka实例存储容量阈值策略？
- Kafka服务端支持版本是多少？
- Kafka实例的ZK地址是什么？
- 创建的Kafka实例是集群模式么？
- Kafka实例是否支持修改访问端口？
- Kafka实例的SSL证书有效期多长？
- 如何将Kafka实例中的数据同步到另一个Kafka实例中？
- Kafka实例的SASL_SSL开关如何修改？
- SASL认证机制如何修改？
- 如何修改安全协议？
- 修改企业项目，是否会导致Kafka重启？
- 100MB/s的带宽怎样开启公网访问？
- Kafka服务和ZK是部署在相同的虚拟机中，还是分开部署？
- Kafka包周期实例支持删除吗？
- Kafka支持哪些加密套件？
- 购买实例时选择的单AZ，怎样可以扩展为多AZ？
- Kafka是否支持跨AZ容灾？已经购买的实例在哪里查看是否为跨AZ？
- Kafka支持磁盘加密吗？
- Kafka实例创建后，能修改VPC和子网吗？
- 有没有Kafka Stream的案例？
- Kafka实例版本可以升级吗？
- 怎样重新绑定公网IP？
- 实例规格变更问题
-
连接问题
- 选择和配置安全组
- Kafka实例是否支持公网访问？
- Kafka实例的连接地址默认有多少个？
- 是否支持跨Region访问？
- Kafka实例是否支持跨VPC访问？
- Kafka实例是否支持不同的子网？
- Kafka是否支持Kerberos认证，如何开启认证？
- Kafka实例是否支持无密码访问？
- 开启公网访问后，在哪查看公网IP地址？
- Kafka支持服务端认证客户端吗？
- 连接开启SASL_SSL的Kafka实例时，ssl truststore文件可以用PEM格式的吗？
- 下载的证书JKS和CRT有什么区别？
- Kafka支持哪个版本的TLS？
- Kafka实例连接数有限制吗？
- 客户端单IP连接的个数为多少？
- Kafka实例的内网连接地址可以修改吗？
- 不同实例中，使用的SSL证书是否一样？
- 为什么不建议使用Sarama客户端收发消息？
- Topic和分区问题
- 消费组问题
- 消息问题
-
Kafka Manager问题
- 登录Kafka Manager的账号是否可以设置为只读账号？
- 登录到Kafka Manager页面，为什么获取不到节点信息？
- Yikes! Insufficient partition balance when creating topic : projectman_project_enterprise_project Try again.
- Kafka Manager能否查询到消息的正文？
- Kafka Manager WebUI的端口能否修改？
- 在Kafka Manager上支持修改Topic的哪些属性？
- Kafka Manager和云监控显示的信息不一致
- Kafka Manager如何修改Topic的分区Leader？
- 实例版本在控制台和Kafka Manager上显示不一致？
- 为什么实例中存在默认名为__trace和__consumer_offsets的Topic？
- 客户端删除消费组后，在Kafka Manager中仍可以看到此消费组？
- 监控告警问题
- Kafka体验版使用说明
-
实例问题
- 故障排除
- 视频帮助
- 文档下载
- 通用参考
链接复制成功！
查看Kafka重平衡日志
Rebalance是重新分配消费组中的消费者和Topic分区之间订阅关系的过程。在Rebalance过程中消费组下的所有消费者都会停止消费，等待Rebalance完成。
可能会触发Rebalance的原因：
- 消费组成员个数发生变化，例如有新的消费者加入，或者有消费者退出。
- 消费组订阅的Topic个数发生变化。
- 消费组订阅的Topic分区数发生变化。
重平衡日志记录Rebalance的详情，包括Rebalance时间、原因和触发Rebalance的客户端等。本章节介绍如何在控制台查看重平衡日志。
重平衡日志存储在云日志服务（Log Tank Service，简称LTS）中，由LTS提供查询功能。
约束与限制
- 2023年4月6日前创建的实例，不支持重平衡日志功能。
- 单机实例不支持查看重平衡日志。
- 重平衡日志默认存储时间为七天，如果需要延长保留天数，可以在LTS控制台修改日志组的存储时间。
- 重平衡日志开启后会在LTS控制台创建对应的日志组、日志流和仪表盘。使用期间按照日志量收费，收费标准请参照LTS价格详情。
- 不同Kafka实例使用相同的日志组和日志流保存重平衡日志时，在每个Kafka实例中都能看到使用同一个日志组和日志流的所有Kafka实例的重平衡日志。
前提条件
- 开启重平衡日志需要您的账号拥有LTS服务的创建日志组和日志流的权限。
- Kafka实例处于“运行中”时，才能开启/关闭重平衡日志。
开启重平衡日志
- 登录管理控制台。
- 在管理控制台左上角单击
，选择Kafka实例所在的区域。 - 在管理控制台左上角单击
，选择“应用中间件 > 分布式消息服务Kafka版”，进入Kafka总览页面。 - 在左侧导航栏单击“Kafka实例”，进入Kafka实例列表页面。
- 单击Kafka实例的名称，进入实例详情页面。
- 在左侧导航栏单击“日志管理 > 重平衡日志”，进入“重平衡日志”页面。
- 单击“开启日志”，弹出“开启日志”对话框。
- 单击“确定”，弹出“日志配置”对话框。
- 根据实际情况决定是否开启日志配置，单击“确定”，自动跳转到“后台任务管理”页面，“状态”为“成功”时，表示开启重平衡日志成功。
- 不开启：LTS后台会自动创建一个日志组以及对应的日志流。
- 开启：选择存储日志文件“coordinator.log”的日志组和日志流。您还可以单击右侧的“查看日志组”，跳转到LTS控制台，查看或创建日志组和日志流。
查看重平衡日志
- 登录管理控制台。
- 在管理控制台左上角单击，选择Kafka实例所在的区域。
- 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入Kafka总览页面。
- 在左侧导航栏单击“Kafka实例”，进入Kafka实例列表页面。
- 单击Kafka实例的名称，进入实例详情页面。
- 在左侧导航栏单击“日志管理 > 重平衡日志”，进入“重平衡日志”页面。
- 在“仪表盘”页签，查看消费组重平衡次数和原因。在“日志查询”页签，查看重平衡日志。
如果您需要搜索日志，请参考进入搜索LTS日志页面进行操作。
重平衡日志示例如下：
{ "level":"INFO", "timestamp":"2023-03-23 17:23:22,906", "message":{ "leaderId":"consumer-1-177817b6-1f29-4717-8a83-dda8eaab1635", "generationId":"1", "reason":"Assignment received from leader for group KMOffsetCache-dms-vm-fa3cf9d6-manager-shared-server-0 for generation 1", "groupId":"KMOffsetCache-dms-vm-fa3cf9d6-manager-shared-server-0", "coordinatorId":"0", "type":"END_REBALANCE", "group":"GroupMetadata(groupId=KMOffsetCache-dms-vm-fa3cf9d6-manager-shared-server-0, generation=1, protocolType=Some(consumer), currentState=CompletingRebalance, members=Map(consumer-1-177817b6-1f29-4717-8a83-dda8eaab1635 -> MemberMetadata(memberId=consumer-1-177817b6-1f29-4717-8a83-dda8eaab1635, clientId=consumer-1, clientHost=/172.31.2.168, sessionTimeoutMs=10000, rebalanceTimeoutMs=300000, supportedProtocols=List(range), )))" } }参数说明如表1所示。
表1 重平衡参数说明 参数名称
说明
level
重平衡日志的等级，只有“INFO”一种等级。
timestamp
Rebalance时间。
leaderId
消费者Leader ID。
generationId
消费组Generation ID。Generation等同于消费组执行Rebalance的次数，每次Rebalance完成后，Generation都会增加1。
reason
触发Rebalance的原因。
groupId
消费组ID。
coordinatorId
Coordinator组件所在的Broker。
type
触发Rebalance的操作，取值如下：
- JOIN_GROUP：新消费者加入消费组。
- OVER_CAPACITY：超过组限制。
- UPDATE_MEMBER： 消费者更新元数据。
- PROTOCOL_CHANGE：协议变化。
- HEARTBEAT_EXPIRED：消费者心跳超时。
- SYNC_GROUP：同步分配计划。
- END_REBALANCE：重平衡结束。
- LEAVE_GROUP：消费者主动离开消费组。
- DELETE_GROUP：用户删除消费组。
group
消费组中消费者的信息。
关闭重平衡日志
- 登录管理控制台。
- 在管理控制台左上角单击，选择Kafka实例所在的区域。
- 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入Kafka总览页面。
- 在左侧导航栏单击“Kafka实例”，进入Kafka实例列表页面。
- 单击Kafka实例的名称，进入实例详情页面。
- 在左侧导航栏单击“日志管理 > 重平衡日志”，进入“重平衡日志”页面。
- 在页面右上角单击“关闭日志”，弹出确认关闭对话框。
- 单击“确定”，自动跳转到“后台任务管理”页面，当重平衡日志任务的“状态”为“成功”时，表示关闭重平衡日志成功。
关闭重平衡日志只是停止重平衡日志上报功能，LTS控制台的日志组和日志流仍然保留，还会继续收费，如不需要保留该日志，可以在LTS控制台删除对应的日志组和日志流。
父主题： 管理消费组
