# 分布式消息服务Kafka版 > 高吞吐、高可用的消息中间件服务 ## 服务公告 - [【下线公告】华为分布式消息服务Kafka版2.3.0版本停售公告](https://support.huaweicloud.com/bulletin-kafka/kafka_bulletin_003.md): 华为云计划于2023/05/05 00:00(北京时间)停售分布式消息服务Kafka版2.3.0版本。下线区域:所有区域该版本停售后,新用户将无法进行购买,已购买该版本的用户不受影响,可继续使用扩容等功能。如您有任何问题,可随时通过工单或者服务热线(4000-955-988或950808)与我们联系。已经购买Kafka 2.3.0的用户能 - [漏洞修复策略](https://support.huaweicloud.com/bulletin-kafka/kafka_bulletin_002.md): 高危漏洞:Kafka社区发现漏洞并发布修复方案后,分布式消息服务Kafka版一般在1个月内进行修复,修复策略与社区保持一致。操作系统紧急漏洞按照操作系统修复策略和流程对外发布,一般在一个月内提供修复方案,用户自行修复。Kafka社区发现漏洞并发布修复方案后,分布式消息服务Kafka版一般在1个月内进行修复,修复策略与社区保持一致。操作系统 - [版本支持公告](https://support.huaweicloud.com/bulletin-kafka/kafka_bulletin_006.md): 分布式消息服务Kafka版的版本号格式为:消息引擎类型 x.y.z,其中消息引擎类型为Kafka,版本号具体含义如图1所示。分布式消息服务Kafka版支持的版本:1.1.0、2.7、3.x(推荐)分布式消息服务Kafka版的版本生命周期如表1所示。EOM:End of Marketing,停止该版本的销售。EOS:End of Servi - [版本发布说明](https://support.huaweicloud.com/bulletin-kafka/kafka_bulletin_007.md): 表1列出了分布式消息服务Kafka版相对开源版本新增/优化的特性。 ## 产品介绍 - [图解Kafka、RabbitMQ和RocketMQ的差异](https://support.huaweicloud.com/productdesc-kafka/kafka_pd_0003.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 - [什么是分布式消息服务Kafka版](https://support.huaweicloud.com/productdesc-kafka/kafka-pd-190605001.md): Kafka是一个拥有高吞吐、可持久化、可水平扩展,支持流式数据处理等多种特性的分布式消息流处理中间件,采用分布式消息发布与订阅机制,在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。华为云分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队列服务,向用户提供计算、存储和带宽资源独占式的Kafka专享 - [产品优势](https://support.huaweicloud.com/productdesc-kafka/kafka-advantage.md): 分布式消息服务Kafka版完全兼容开源社区版本,旨在为用户提供便捷高效的消息队列。业务无需改动即可快速迁移上云,为您节省维护和使用成本。一键式部署,免去集群搭建烦恼您只需要在实例管理界面选好规格配置,提交订单。后台将自动创建部署完成一整套Kafka实例。您只需要在实例管理界面选好规格配置,提交订单。后台将自动创建部署完成一整套Kafka实 - [典型应用场景](https://support.huaweicloud.com/productdesc-kafka/kafka-scenarios.md): Kafka作为一款热门的消息队列中间件,具备高效可靠的消息异步传递机制,主要用于不同系统间的数据交流和传递,在企业解决方案、金融支付、电信、电子商务、社交、即时通信、视频、物联网、车联网等众多领域都有广泛应用。对于同步链路,需要实时返回调用结果的场景,建议使用RPC(Remote Procedure Call)调用方案。将业务中属于非核心 - [产品功能](https://support.huaweicloud.com/productdesc-kafka/kafka-pd-0013.md): 本页面介绍了Kafka服务支持的主要功能。关于各功能支持的地域(Region)信息,可通过控制台查询详情。您在使用分布式消息服务Kafka版前,需要先购买Kafka实例。Kafka实例采用物理隔离的方式部署,租户独占Kafka实例。详情请参见购买Kafka实例。开源Kafka客户端向Kafka实例生产消息和消费消息前,需要先连接Kafka - [Kafka单机实例](https://support.huaweicloud.com/productdesc-kafka/kafka-pd-0056.md): Kafka单机实例由一个代理组成,兼容开源Kafka 2.7和3.x版本,适用于测试场景,不建议用于生产业务。关于下表中TPS的说明:TPS(Transaction per second):在Kafka场景中,指每秒能写入到Kafka实例的最大消息数量。TPS性能:是指以1KB大小的消息为例的每秒处理消息条数。测试场景:连接内网访问明文接 - [Kafka集群实例](https://support.huaweicloud.com/productdesc-kafka/Kafka-specification.md): Kafka集群实例由三个及以上代理组成,兼容开源Kafka 1.1.0、2.7和3.x。关于下表中TPS的说明:TPS(Transaction per second):在Kafka场景中,指每秒能写入到Kafka实例的最大消息数量。TPS性能:指以1KB大小的消息为例的每秒处理消息条数。如果您想要了解更多关于TPS的性能,请参考测试Kaf - [单机和集群Kafka实例差异概述](https://support.huaweicloud.com/productdesc-kafka/kafka-pd-0052.md): 单机实例是分布式消费服务Kafka版提供的单代理实例,只适用体验和业务测试场景,无法保证性能和可靠性。如果需要在生产环境使用Kafka实例,建议购买集群实例。单机实例和集群实例支持的特性和功能有部分差异,具体如表1所示。 - [与RabbitMQ、RocketMQ的差异](https://support.huaweicloud.com/productdesc-kafka/kakfa-pd-190419002.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 - [与开源Kafka的差异](https://support.huaweicloud.com/productdesc-kafka/kafka-pd-200720001.md): 分布式消息服务Kafka版在兼容开源Kafka基础上,对版本特性做了一定程度的定制和增强,所以,除了拥有开源Kafka的优点,分布式消息服务Kafka版提供了更多可靠、实用的特性。 - [身份认证与访问控制](https://support.huaweicloud.com/productdesc-kafka/kafka_pd_0007.md): 无论用户通过控制台还是API访问DMS for Kafka,都会要求访问请求方出示身份凭证,并进行身份合法性校验,同时提供登录保护和登录验证策略加固身份认证安全。DMS for Kafka基于统一身份认证服务(Identity and Access Management,简称IAM),支持三种身份认证方式:用户名密码、访问密钥、临时访问密 - [数据保护技术](https://support.huaweicloud.com/productdesc-kafka/kafka_pd_0008.md): DMS for Kafka通过多种数据保护手段和特性,保障DMS for Kafka的数据安全可靠。 - [审计与日志](https://support.huaweicloud.com/productdesc-kafka/kafka_pd_0009.md): 云审计服务(Cloud Trace Service,简称CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。用户开通云审计服务并创建和配置追踪器后,CTS可记录DMS for Kafka的管理事件用于审计。CTS的详细介绍和开通 - [服务韧性](https://support.huaweicloud.com/productdesc-kafka/kafka_pd_0010.md): DMS for Kafka提供了3级可靠性架构,通过跨AZ容灾、AZ内实例容灾、实例数据多副本技术方案,保障服务的持久性和可靠性。DMS for Kafka部署在3个及以上可用区时,可实现跨AZ容灾。 - [监控安全风险](https://support.huaweicloud.com/productdesc-kafka/kafka_pd_0011.md): DMS for Kafka提供基于云监控服务CES的资源和操作监控能力,帮助用户对每个Kafka实例进行自动实时监控、告警和通知操作。用户可以实时掌握实例的各类业务请求、资源占用、流量、连接数和消息积压等关键信息。关于DMS for Kafka支持的监控指标,以及如何创建监控告警规则等内容,请参见支持的监控指标。 - [认证证书](https://support.huaweicloud.com/productdesc-kafka/kafka_pd_0012.md): 华为云服务及平台通过了多项国内外权威机构(ISO/SOC/PCI等)的安全合规认证,用户可自行申请下载合规资质证书。合规证书下载华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。资源中心华为云安全服务提供了网络安全专用产品安全检测证书、软件著作权等证书,供用户下载和参考。具体请查看合规资质证书。合规资质证书 - [约束与限制](https://support.huaweicloud.com/productdesc-kafka/kafka-pd-190605003.md): 本章节介绍分布式消息服务Kafka版产品功能的约束和限制,您在使用Kafka实例时注意不要超过相应的约束和限制,以免程序出现异常。如果因为您的实例配置超过相应的约束和限制而导致的任何不稳定情况,不在SLA承诺和赔偿范围内。 - [与其他云服务的关系](https://support.huaweicloud.com/productdesc-kafka/kafka-pd-190605002.md): 云审计(Cloud Trace Service)云审计为您提供云服务资源的操作记录,记录内容包括您从管理控制台或者开放API发起的云服务资源操作请求以及每次请求的结果,供您查询、审计和回溯使用。当前CTS记录的操作,请参考查看Kafka审计日志。云审计为您提供云服务资源的操作记录,记录内容包括您从管理控制台或者开放API发起的云服务资源操 - [主题(Topic)](https://support.huaweicloud.com/productdesc-kafka/kafka_pd_0014.md): 主题(Topic)是华为云分布式消息服务Kafka版中的一个核心概念,用于对消息进行分类和管理。生产者将消息发送到特定的Topic,消费者从Topic中订阅并消费消息,实现高效、可靠的消息传递和处理。在现代企业应用中,数据的分类和管理需求日益增加。传统的消息传递方式往往缺乏有效的分类机制,导致消息处理效率低下和管理复杂。通过使用Topic - [消费组(Consumer Group)](https://support.huaweicloud.com/productdesc-kafka/kafka_pd_0013.md): 消费组(Consumer Group)是华为云分布式消息服务Kafka版中的一个重要概念,用于管理一组消费者,确保消息的有序和可靠消费。通过消费组,可以实现消息的负载均衡和故障恢复,提高系统的可靠性和性能。在现代分布式系统中,多个消费者需要同时处理同一主题的消息。例如,在电商系统中,订单生成后需要通知库存、支付、物流等多个系统。如果每个系 - [其他相关概念](https://support.huaweicloud.com/productdesc-kafka/kafka_pd_0015.md): 向Topic(消息主题)发布消息的一方。发布消息的最终目的在于将消息内容传递给其他系统/模块,使对方按照约定处理该消息。从Topic(消息主题)订阅消息的一方。订阅消息最终目的在于处理消息内容,如日志集成场景中,监控告警平台(消费者)从主题订阅日志消息,识别出告警日志并发送告警消息/邮件。为了实现水平扩展与高可用,Kafka将Topic划 - [权限管理](https://support.huaweicloud.com/productdesc-kafka/ProductDescPrivilegeManagement.md): 如果您需要对华为云上购买的DMS for Kafka资源,为企业中的员工设置不同的访问权限,以达到不同员工之间的权限隔离,您可以使用统一身份认证服务(Identity and Access Management,简称IAM)进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能,可以帮助您安全的控制华为云资源的访问。如果华为 ## 计费说明 - [分布式消息服务Kafka版计费概述](https://support.huaweicloud.com/price-kafka/kafka_billing_001.md): 通过阅读本文,您可以快速了解分布式消息服务Kafka版的计费模式、计费项、续费、欠费等主要计费信息。计费模式分布式消息服务Kafka版提供包年/包月和按需计费两种计费模式,以满足不同场景下的用户需求。包年/包月是一种预付费模式,即先付费再使用,按照订单的购买周期进行结算,因此在购买之前,您必须确保账户余额充足。按需计费是一种后付费模式,即 - [分布式消息服务Kafka版计费模式概述](https://support.huaweicloud.com/price-kafka/kafka_billing_003.md): 分布式消息服务Kafka版提供包年/包月和按需计费两种计费模式,以满足不同场景下的用户需求。如您需要快速了解分布式消息服务Kafka版的具体计费模式对应的具体价格,请参见分布式消息服务Kafka版价格详情。包年/包月:一种预付费模式,即先付费再使用,按照订单的购买周期进行结算。购买周期越长,享受的折扣越大。一般适用于业务需求量长期稳定的成 - [包年/包月](https://support.huaweicloud.com/price-kafka/kafka_billing_004.md): 包年/包月是一种先付费再使用的计费模式,适用于对资源需求稳定且希望降低成本的用户。通过选择包年/包月的计费模式,您可以预先购买云服务资源并获得一定程度的价格优惠。本文将介绍包年/包月Kafka实例的计费规则。包年/包月计费模式需要用户预先支付一定时长的费用,适用于长期、稳定的业务需求。以下是一些适用于包年/包月计费模式的业务场景:稳定业务 - [按需计费](https://support.huaweicloud.com/price-kafka/kafka_billing_005.md): 按需计费是一种先使用再付费的计费模式,适用于无需任何预付款或长期承诺的用户。本文将介绍按需计费Kafka实例的计费规则。按需计费适用于具有不能中断的短期、突增或不可预测的应用或服务,例如电商抢购、临时测试、科学计算。分布式消息服务Kafka版对您选择的Kafka实例和Kafka的磁盘存储空间收费。以下计费项支持按需计费。假设您计划购买一个 - [计费项](https://support.huaweicloud.com/price-kafka/kafka_billing_006.md): 包年/包月和按需计费的Kafka实例的计费项由实例费用和存储空间费用组成。具体内容如表1所示。如您需要快速了解分布式消息服务Kafka版的具体价格,请参见分布式消息服务Kafka版价格详情。以包年/包月计费模式为例,假设您于2023/03/08 15:50:04在“华北-北京四”区域购买了一个包年/包月Kafka实例(规格:kafka.2 - [计费样例](https://support.huaweicloud.com/price-kafka/kafka_billing_007.md): 某用户于2023/03/18 15:30:00在“华北-北京四”区域购买了一个按需计费的Kafka实例,规格配置如下:规格:kafka.2u4g.cluster*3总存储空间:高I/O 300GB用了一段时间后,用户发现Kafka实例当前规格无法满足业务需要,于2023/03/20 9:00:00升配为kafka.4u8g.cluster - [变更计费模式概述](https://support.huaweicloud.com/price-kafka/kafka_billing_009.md): 在购买Kafka实例后,如果发现当前计费模式无法满足业务需求,您可以变更计费模式。支持变更计费模式的Kafka实例计费项如表1所示。 - [按需转包年/包月](https://support.huaweicloud.com/price-kafka/kafka_billing_010.md): 如果您需要长期使用当前按需购买的Kafka实例,可以将该Kafka实例转为包年/包月计费模式,以节省开支。按需计费变更为包年/包月会生成新的订单,用户支付订单后,包年/包月资源将立即生效。假设用户于2023/04/18 15:29:16购买了一个按需计费的Kafka实例,由于业务需要,于2023/04/18 16:30:30执行按需转包年 - [包年/包月转按需](https://support.huaweicloud.com/price-kafka/kafka_billing_011.md): 创建一个包年/包月Kafka实例后,您可以将该Kafka实例的计费模式转为按需计费,回收部分成本,同时更加灵活地按需使用Kafka实例。包年/包月变更按需计费时,生效时间分为以下两种:包年/包月资费模式到期后,按需的资费模式才会生效。提交变更后,按需的资费模式立即生效。Kafka实例计费模式为“包年/包月”。Kafka实例状态为“运行中” - [续费概述](https://support.huaweicloud.com/price-kafka/kafka_billing_013.md): 包年/包月Kafka实例到期后会影响Kafka实例正常运行。如果您想继续使用,需要在指定的时间内为Kafka实例续费,否则Kafka实例资源会自动释放,数据丢失且不可恢复。续费操作仅适用于包年/包月Kafka实例,按需计费Kafka实例不需要续费,只需要保证账户余额充足即可。Kafka实例在到期前续费成功,所有资源得以保留,且Kafka实 - [手动续费](https://support.huaweicloud.com/price-kafka/kafka_billing_014.md): 包年/包月Kafka实例从购买到被自动删除之前,您可以随时在Kafka控制台为Kafka实例续费,以延长Kafka实例的使用时间。勾选Kafka实例名称左侧的方框,可选一个或多个,单击信息栏左上侧的“续费”,弹出“续费”对话框,单击“确定”,跳转到“续费”页面。在待续费的Kafka实例所在行,单击“更多 > 续费”,跳转到“续费”页面。单 - [自动续费](https://support.huaweicloud.com/price-kafka/kafka_billing_015.md): 自动续费可以减少手动续费的管理成本,避免因忘记手动续费而导致Kafka实例被自动删除。自动续费的规则如下所述:以Kafka实例的到期日计算第一次自动续费日期和计费周期。Kafka实例自动续费周期根据您开通自动续费的途径不同,遵循不同的规则。在Kafka实例到期前均可开通自动续费,到期前7日凌晨3:00首次尝试自动续费,如果扣款失败,每天凌 - [费用账单](https://support.huaweicloud.com/price-kafka/kafka_billing_016.md): 您可以在“费用中心 > 账单管理”查看资源的费用账单,以了解该资源在某个时间段的使用量和计费信息。Kafka实例在账单中显示的产品名称为“分布式消息服务专享版”,存储空间在账单中显示的产品名称为“分布式消息服务物理多租存储”,如图1所示。包年/包月:包年/包月计费模式的资源完成支付后,会实时上报两条账单(实例费用账单和存储空间费用账单)到 - [欠费说明](https://support.huaweicloud.com/price-kafka/kafka_billing_017.md): 用户在使用云服务时,账户的可用额度小于待结算的账单,即被判定为账户欠费。欠费后,可能会影响云服务资源的正常运行,请及时充值。购买了按需计费的Kafka实例,并使用了一段时间后,账户的余额不足。包年/包月对于包年/包月Kafka实例,用户已经预先支付了资源费用,因此在账户出现欠费的情况下,已有的包年/包月Kafka实例仍可正常使用。然而,对 - [停止计费](https://support.huaweicloud.com/price-kafka/kafka_billing_018.md): 对于包年/包月计费模式的资源,例如包年/包月的Kafka实例,用户在购买时会一次性付费,服务将在到期后自动停止使用。如果在计费周期内不再使用包年/包月资源,您可以执行退订操作,系统将根据资源是否属于五天无理由退订、是否使用代金券和折扣券等条件返还一定金额到您的账户。详细的退订规则请参见云服务退订规则概览。需要注意,如果实例开启了回收站策略 - [成本管理](https://support.huaweicloud.com/price-kafka/kafka_billing_019.md): 随着上云企业越来越多,企业对用云成本问题也越发重视。使用分布式消息服务Kafka版时,如何进行成本管理,减轻业务负担呢?本文将从成本构成、成本分配、成本分析和成本优化四个维度介绍成本管理,帮助您通过成本管理节约成本,在保障业务快速发展的同时获得最大成本收益。使用分布式消息服务Kafka版时,成本主要包括两个方面:资源成本:各类资源的成本, ## 快速入门 - [快速连接Kafka并生产消费消息](https://support.huaweicloud.com/qs-kafka/kafka-qs-0409001.md): 本章节将为您介绍分布式消息服务Kafka版入门的使用流程,以创建一个开启密文接入、安全协议为SASL_SSL的Kafka实例,客户端使用内网通过同一个VPC连接Kafka实例生产消费消息为例,帮助您快速上手Kafka。准备工作Kafka实例运行于虚拟私有云(Virtual Private Cloud,简称VPC)中,在创建实例前需要确保有 - [入门实践](https://support.huaweicloud.com/qs-kafka/kafka-qs-001.md): 当您购买了Kafka实例后,可以根据自身的业务需求使用分布式消息服务Kafka版提供的一系列常用实践。 ## 用户指南 - [Kafka业务使用流程](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-0069.md): 分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队列服务,向用户提供计算、存储和带宽资源独占式的Kafka实例。使用Kafka实例生产消费消息的流程如下图所示。通过IAM授予使用DMS for Kafka的权限创建IAM用户,并授予DMS for Kafka的权限,以达到用户之间权限的隔离。创建IAM用户,并授予DMS - [通过IAM角色或策略授予使用DMS for Kafka的权限](https://support.huaweicloud.com/usermanual-kafka/CreateUserAndGrantPolicy.md): 如果您需要对您所拥有的DMS for Kafka进行角色与策略的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),通过IAM,您可以:根据企业的业务组织,在您的华为账号中,给企业中不同职能部门的员工创建IAM用户,让员工拥有唯一安全凭证,并使用DMS for Kafka资源。 - [通过IAM身份策略授予使用DMS for Kafka的权限](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-0040.md): 如果您需要对您所拥有的DMS for Kafka进行身份策略的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),通过IAM,您可以:根据企业的业务组织,在您的华为账号中,给企业中不同职能部门的员工创建用户或用户组,让员工拥有唯一安全凭证,并使用DMS for Kafka资源。 - [购买Kafka实例](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-180604013.md): Kafka实例采用物理隔离的方式部署,租户独占Kafka实例。支持用户自定义规格和自定义特性,您可以根据业务需要定制相应计算能力和存储空间的Kafka实例。本视频演示自定义购买Kafka实例的操作。因产品功能演进,操作界面可能存在差异,相关视频仅供参考,具体以实际环境为准。创建Kafka实例前,请提前准备好如表1所示资源。开启IPv6的实 - [创建Kafka Topic](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-180604018.md): Topic,即消息主题,用于存储消息,供生产者生产消息以及消费者订阅消息。创建Kafka实例成功后,如果未开启“Kafka自动创建Topic”功能,则需要手动创建Topic。如果实例开启了“Kafka自动创建Topic”,则该操作为可选。“Kafka自动创建Topic”表示向一个未创建的Topic生产或消费消息时,系统会自动创建此Topi - [配置Kafka Topic权限](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-0002.md): Kafka实例开启密文接入后,支持对Topic进行ACL(Access Control List)权限管理。为不同用户配置不同Topic的生产消费消息权限,实现用户间权限隔离。本章节主要介绍Kafka实例开启密文接入后,如何对Topic进行用户授权。当“allow.everyone.if.no.acl.found”为“true”时,若To - [查看Kafka Topic详情](https://support.huaweicloud.com/usermanual-kafka/kafka_ug_0045.md): 在Topic详情页面,您可以查看其基本信息、分区信息、生产者信息和订阅关系。Topic详情页面显示Topic基本信息、分区信息、生产者信息和订阅关系。2023年7月10日以及之前创建的Topic,在Topic详情页面不显示“生产者”页签。如果一个实例中消费组数量超过10000,则不支持查询Topic的订阅关系。如果您希望通过API查询To - [查看Kafka Topic日志](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-0076.md): Topic日志记录Topic分区选举Leader的详情,包括选举Leader时间、选举Leader的Topic分区和Leader的选举次数等。本章节介绍如何在控制台查看Topic日志。Topic日志存储在云日志服务(Log Tank Service,简称LTS)中,由LTS提供查询功能。老实例不支持Topic日志功能,具体以控制台为准。T - [修改Kafka Topic配置](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-0038.md): 本章节指导您在控制台修改如表1所示Kafka Topic的配置。修改同步复制、同步落盘、消息时间戳类型、批处理消息最大值和描述,不会重启实例。当副本数为1时,不能开启同步复制功能。开启同步复制后,需要在客户端配置acks=all或者-1,否则无效。批量修改Topic配置时,每次最多修改100个Topic的配置。Kafka控制台支持修改单个 - [修改Kafka Topic分区数](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-0006.md): 创建Kafka实例Topic成功之后,您可以根据业务需要修改Topic的分区数。修改分区数,不会重启实例,不会影响业务。分区数只支持增加,不支持减少。2023年5月17日及以后创建的实例不提供Kafka Manager功能,不支持在Kafka Manager中修改Topic分区数。Kafka单机/集群实例对Topic的总分区数设置了上限, - [修改Kafka Topic副本数](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-0072.md): 创建Kafka实例Topic成功之后,您可以根据业务需要修改Topic的副本数。单机实例不支持修改副本数。分区平衡任务启动后,无法手动停止任务,需要等到任务完成。已设置了一个定时分区平衡任务,在此任务未执行前,无法对本实例内的任何Topic执行其他分区平衡任务。若Topic创建时未开启同步复制功能,且后续从未手动修改过该状态,那么修改副本 - [导出Kafka Topic列表](https://support.huaweicloud.com/usermanual-kafka/kafka_ug_0027.md): 本章节指导您在控制台导出Topic列表,支持批量导出。已创建Topic。勾选待导出的Topic,单击“导出 > 导出已选中数据到XLSX”,导出指定Topic列表。单击“导出 > 导出全部数据到XLSX”,导出全部Topic列表。Topic列表中包含如下信息:Topic名称、分区数、副本数、老化时间、是否同步复制或同步落盘、消息时间戳类型 - [修改Kafka分区平衡](https://support.huaweicloud.com/usermanual-kafka/kafka_ug_0023.md): 分区平衡是指将分区的副本重新分配到不同的代理上,解决代理负载不均衡问题。需要进行分区平衡的场景如下:实例扩容代理个数后,新创建的Topic才会分布在新代理上,原有Topic还分布在原有代理上,造成分区分布不均衡。通过修改分区平衡,将原有Topic分区的副本迁移到新代理上。将高负载代理上的Leader分区切换为Follower。在修改分区平 - [配置Kafka自动创建Topic](https://support.huaweicloud.com/usermanual-kafka/kafka_ug_0043.md): “Kafka自动创建Topic”表示向一个未创建的Topic生产或消费消息时,系统会自动创建该Topic,自动创建Topic的默认参数值如表1所示。查询一个未创建的Topic时,系统不会自动创建Topic。集群实例支持在“实例管理 > 配置参数”中修改“log.retention.hours”(老化时间)、“default.replica - [删除Kafka Topic](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-180604019.md): 本章节指导您删除Topic,请根据实际情况选择以下任意一种方式:删除Kafka Topic(控制台)删除Kafka Topic(Kafka客户端)删除Topic会导致Topic中的数据也被删除,并且无法找回,同时会影响使用该Topic的相关业务。已开启密文接入的实例,“allow.everyone.if.no.acl.found”设置为“ - [连接Kafka网络要求](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-180604012.md): 客户端可以通过公网连接Kafka实例,也可以通过内网连接Kafka实例。使用内网连接时,注意以下几点:如果客户端和Kafka实例部署在同一个VPC内,网络默认互通。如果客户端和Kafka实例部署在不同VPC中,由于VPC之间逻辑隔离,客户端和Kafka实例不能直接通信,需要打通VPC之间的网络。客户端连接Kafka实例的方式如表1所示。客 - [配置Kafka实例的公网访问](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-0319001.md): 客户端可以通过公网使用IPv4或者IPv6地址访问Kafka实例。IPv4地址:在Kafka控制台开启实例的公网访问功能,并设置弹性IP地址,实现公网访问。IPv6地址:在创建Kafka实例时开启IPv6功能,然后将IPv6地址添加到共享带宽中,同时支持IPv6内网访问和IPv6公网访问。Kafka实例只支持绑定IPv4弹性IP地址,不支 - [使用VPCEP实现跨VPC访问Kafka](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-0001.md): Kafka客户端和Kafka实例在同一区域的不同VPC中,由于VPC之间逻辑隔离,Kafka客户端和Kafka实例不能直接通信。您可以通过以下任意一个方式实现跨VPC访问:创建VPC对等连接,将两个VPC的网络打通,实现跨VPC访问。具体步骤请参考对等连接。利用VPC终端节点在不同VPC间建立跨VPC的连接通道,实现Kafka客户端通过内 - [使用DNAT实现公网访问Kafka](https://support.huaweicloud.com/usermanual-kafka/kafka-dnat.md): 您可以通过以下任意一个方式实现公网访问:在Kafka实例控制台开启公网访问,使用弹性IP地址连接Kafka实例,具体请参考配置Kafka实例的公网访问。使用DNAT通过端口映射方式,将弹性IP地址映射到Kafka实例指定端口,实现Kafka实例对公网提供服务。本章节主要介绍使用DNAT实现公网访问Kafka。已购买弹性公网IP,弹性公网I - [配置Kafka实例的明文/密文接入](https://support.huaweicloud.com/usermanual-kafka/kafka_ug_0044.md): 您可以通过明文接入Kafka实例,也可以通过密文接入Kafka实例,本章节指导您在控制台修改接入方式。明文接入:表示客户端连接Kafka实例时,无需进行SASL认证。密文接入:表示客户端连接Kafka实例时,需要进行SASL认证。首次修改接入方式时,部分实例会重启,另一部分实例不会重启,具体以控制台提示为准。实例重启大约需要75~80s。 - [制作和替换Kafka JKS格式的SSL证书](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-0008.md): SSL证书的作用是在客户端和Kafka实例进行数据传输时对数据加密传输,提高了数据的安全性。Kafka客户端连接开启密文接入且Kafka安全协议为“SASL_SSL”的Kafka实例时,您可以使用分布式消息服务Kafka版提供的证书,也可以使用自己制作的证书。如果使用自己制作的证书,请参考本章节将分布式消息服务Kafka版提供的证书替换为 - [获取和使用Kafka PEM格式的SSL证书](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-0073.md): 本章节指导您如何获取PEM格式的SSL证书,并使用PEM格式证书访问Kafka实例。实例已开启Kafka SASL_SSL。以下示例演示在Java客户端使用PEM格式证书访问Kafka实例。参考Java客户端接入示例,连接Kafka实例生产消费消息。其中,生产消息配置文件和消费消息配置文件中的SASL信息修改为如下内容。不同实例中,使用的 - [配置Kafka的SSL双向认证](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-0010.md): SSL双向认证是指在通信认证时,将同时验证客户端和服务端的证书,以确保通信中涉及的双方都是受信任的。开启SSL双向认证,主要用于对安全性要求较高的场景。SSL双向认证功能为受限使用,需要提交工单申请开通。配置SSL双向认证的流程如图1所示。开启/关闭SSL双向认证将重启实例,请谨慎操作。开启/关闭SSL双向认证后,无法再回退使用Kafka - [配置Kafka ACL用户](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-0003.md): Kafka实例开启密文接入后,支持基于ACL(Access Control List)机制对Topic进行权限管理。针对不同用户,精细化配置其在目标Topic中的生产、消费权限,从而实现用户间的权限隔离,保障消息访问的安全性。本章节主要介绍Kafka实例开启密文接入后,如何创建用户、重置用户密码、修改用户信息和删除用户。创建用户后,对To - [Kafka客户端参数配置建议](https://support.huaweicloud.com/usermanual-kafka/Kafka-client-parameter.md): Kafka客户端的配置参数很多,以下提供Producer和Consumer几个常用参数配置。不同版本的Kafka客户端参数名称可能不同,以下配置参数适用于1.1.0及以上版本。其他参数和版本配置,请参考Kafka配置。 - [Kafka客户端使用建议](https://support.huaweicloud.com/usermanual-kafka/Kafka-client-best-practice.md): consumer的owner线程需确保不会异常退出,避免客户端无法发起消费请求,阻塞消费。确保处理完消息后再做消息commit,避免业务消息处理失败,无法重新拉取处理失败的消息。通常不建议对每条消息都进行commit,如果对每条消息都进行了commit,会导致OFFSET_COMMIT请求过多,进而导致CPU使用率过高。例如:如果一个消费 - [使用客户端连接Kafka(明文接入)](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-180604020.md): 本章节介绍如何使用开源的Kafka客户端访问开启明文接入的Kafka实例的方法。明文接入表示客户端访问Kafka实例时,无需进行认证,数据通过明文传输,性能更好。本视频演示使用客户端连接未开启SASL的Kafka实例的操作。因产品功能演进,操作界面可能存在差异,相关视频仅供参考,具体以实际环境为准。2020年7月以及之后购买的实例,Kaf - [使用客户端连接Kafka(密文接入)](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-180801001.md): 本章节介绍如何使用开源的Kafka客户端访问开启密文接入的Kafka实例的方法。密文接入表示客户端访问Kafka实例时,需要进行SASL认证。如果Kafka安全协议为“SASL_SSL”,客户端和Kafka实例进行通信时,数据使用加密传输,安全性更高。本视频演示客户端连接开启SASL_SSL的Kafka实例的操作。因产品功能演进,操作界面 - [使用控制台连接Kafka](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-0055.md): 本章节介绍Kafka实例如何在控制台生产消息。此功能通过将指定消息发送给Kafka实例,验证业务逻辑是否正常。仅在实例的“状态”为“运行中”时,才可以在Topic中生产消息。已创建Topic。在待生产消息的Topic所在行,单击“更多 > 生产消息”(实例已开启SASL)/“生产消息”(实例未开启SASL),弹出“生产消息”对话框。单击待 - [查看Kafka消息](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-190904001.md): 客户端连接Kafka实例生产消费过程中,如果遇到消息丢失或消息消费失败等问题,可以通过消息查询功能来查看特定消息的内容和相关属性,帮助排查问题根因。您可以查看指定Topic不同分区的偏移量、消息大小、创建时间以及消息正文。本视频演示查看Kafka消息的操作。因产品功能演进,操作界面可能存在差异,相关视频仅供参考,具体以实际环境为准。当To - [修改Kafka消息老化时间](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-200506001.md): 老化时间即消息的最长保留时间,消费者必须在此时间结束前消费消息,否则消息将被删除。已删除的消息,无法被消费。Topic老化时间默认为72小时,创建Topic成功之后,您可以根据业务需要修改Topic的老化时间。修改老化时间,不会影响业务。修改老化时间可以通过以下方式实现:在“实例管理 > Topic管理”中,修改老化时间。在“实例管理 > - [删除Kafka消息](https://support.huaweicloud.com/usermanual-kafka/kafka_ug_0046.md): 本章节介绍如何在控制台删除Topic中存储的消息。消息删除后无法恢复,请谨慎操作。删除消息前,请先在消费代码中设置“auto.offset.reset”参数。“auto.offset.reset”用来指定当Kafka中没有初始偏移量或者当前偏移量不存在(例如当前偏移量已被删除)时,消费者的消费策略。取值如下:latest:偏移量自动被重置 - [诊断Kafka消息积压](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-0054.md): 在消息处理过程中,如果客户端的消费速度跟不上服务端的发送速度,未处理的消息会越来越多,这部分消息就被称为堆积消息。消息没有被及时消费就会产生消息堆积,从而会造成消息消费延迟。分布式消息服务Kafka版在控制台提供了消息积压诊断功能,如果消息存在堆积,诊断后会生成诊断记录,诊断记录显示消息堆积可能的原因、受影响的分区或者broker,以及解 - [创建Kafka消费组](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-0041.md): 消费者是从Topic订阅消息的一方,消费组是若干消费者的逻辑集合。Kafka通过消费组,既能够实现消息的负载均衡消费,又可对消费进度进行统一管理。同一个消费组内,一个消费者可同时消费多个分区,但一个分区在同一时刻只能被一个消费者消费。“auto.create.groups.enable”表示在消费者进入未创建的消费组时,会自动创建此消费组 - [查看Kafka消费组信息](https://support.huaweicloud.com/usermanual-kafka/kafka_ug_0021.md): 消费组创建成功后,可查看消费组配置信息和状态信息。您可以在Kafka控制台查看消费组列表,也可以通过客户端查看消费组列表。消费组列表页面显示消费组名称、消费组状态、Coordinator (ID)和描述。Coordinator (ID)显示的数字表示Coordinator组件所在的代理,消费组的状态如下。DEAD:消费组内没有任何成员,且 - [查看Kafka消费者信息](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-0015.md): 如果消费组中存在正在连接Kafka实例的消费者,可查看消费组中该消费者的连接信息。Kafka Manager由于缓存原因,显示的消费者连接地址可能不是当前消费者连接地址,建议重启Kafka Manager解决。2023年5月17日及以后创建的实例不提供Kafka Manager功能,不支持在Kafka Manager中查看消费者连接地址。 - [查看和重置Kafka消费进度](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-0014.md): 消费进度表示消费者的消费位置,本章节介绍如何查看和重置消费进度,重置消费进度即修改消费者的消费位置。本视频演示重置Kafka消费进度的操作。因产品功能演进,操作界面可能存在差异,相关视频仅供参考,具体以实际环境为准。重置消费进度可能会导致重复消费,请谨慎操作。Kafka实例不支持在线重置消费进度,请先将待重置消费进度的消费组停止消费,然后 - [查看Kafka重平衡日志](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-0037.md): Rebalance是重新分配消费组中的消费者和Topic分区之间订阅关系的过程。在Rebalance过程中消费组下的所有消费者都会停止消费,等待Rebalance完成。可能会触发Rebalance的原因:消费组成员个数发生变化,例如有新的消费者加入,或者有消费者退出。消费组订阅的Topic个数发生变化。消费组订阅的Topic分区数发生变化 - [修改Kafka消费组信息](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-0051.md): 消费组创建成功后,您可以根据业务需要修改消费组的描述信息。在待修改信息的消费组所在行,单击“编辑”,弹出“编辑”对话框。单击待修改信息的消费组名称,进入消费组详情页面。单击右上角的“编辑”,弹出“编辑”对话框。修改完成后,在消费组列表页面的“描述”列查看修改后的描述信息。如果您希望通过API修改消费组信息,请参考修改指定消费组。 - [配置Kafka自动创建消费组](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-0082.md): 消费者是从Topic订阅消息的一方,消费组是若干消费者的逻辑集合。Kafka通过消费组,既能够实现消息的负载均衡消费,又可对消费进度进行统一管理。开启“Kafka自动创建消费组”功能后,当消费者加入不存在的消费组时,系统会自动创建该消费组。若关闭此功能,则需在消费消息前手动创建消费组,否则会导致消费失败。新创建的Kafka实例默认开启自动 - [导出Kafka消费组列表](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-0056.md): 消费组创建成功后,可导出Kafka实例中消费组的列表信息。勾选待导出的消费组,单击“导出 > 导出已选中数据到XLSX”,导出指定消费组列表。单击“导出 > 导出全部数据到XLSX”,导出全部消费组列表。 - [删除Kafka消费组](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-0012.md): Kafka实例支持通过以下两种方式删除消费组,您可以根据实际情况选择任意一种方式。在控制台删除消费组在Kafka客户端使用命令行工具删除消费组(确保Kafka实例版本与命令行工具版本相同)本视频演示删除Kafka消费组的操作。因产品功能演进,操作界面可能存在差异,相关视频仅供参考,具体以实际环境为准。若“auto.create.group - [取消Kafka消费组和Topic的订阅关系](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-0071.md): 消费者订阅Topic消费消息后,在消费组详情页可以查看消费进度。如果消费者不再消费某个Topic,您可以取消消费组和此Topic的订阅关系,避免由于此Topic的消息堆积,导致的告警误报。已创建的1.1.0/2.3.0版本的Kafka实例可能不支持取消订阅功能,您可以通过升级实例的内核版本来解决此问题。取消消费组和Topic的订阅关系会删 - [配置Kafka流控](https://support.huaweicloud.com/usermanual-kafka/kafka_ug_0028.md): Kafka支持对用户/客户端/Topic配置流量控制,控制生产/消费消息的上限速率。用户/客户端的流控作用范围是整个Broker,Topic的流控作用范围是指定Topic。2022年11月10日及以后创建的实例支持此功能。单机实例不支持配置流控。当流控值达到上限后,会导致生产/消费的时延增大。设置的流控值较小且生产者速率较大时,可能会造成 - [查看Kafka流控统计](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-0039.md): 如果Kafka配置了流量控制,可在控制台查看当前流控策略下,每个代理上用户/客户端/Topic的带宽使用量。单机实例不支持查看流控监控。 - [查看和修改Kafka实例基本信息](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-180604014.md): 创建Kafka实例成功后,您可以在控制台查看Kafka实例的详细信息,并根据自己的业务情况对Kafka实例的部分参数进行调整,包括实例名称、描述、安全组和容量阈值策略等。单机实例不支持修改Smart Connect和内网访问。Kafka实例的状态为“运行中”时,才能修改实例的基本信息。企业用户才能使用企业项目进行筛选。资源标签筛选支持运算 - [查看Kafka磁盘使用量](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-0004.md): 本章节指导您在控制台查看每个代理上磁盘的使用量,以了解Kafka实例的磁盘使用情况。单机实例不支持查看磁盘使用量。页面支持从以下三个方面对代理中的Topic磁盘使用量进行查询:使用量排名前xx个、使用量达到xx GB和使用占比达xx%。在页面右上角,单击“查看监控数据”,跳转到云监控服务的监控指标页面。在监控指标页面,您可以查看Kafka - [查看Kafka实例后台任务](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-200119002.md): 对实例的一些操作,如表1所示,会启动一个后台任务,您可以在后台任务页,查看该操作的状态等信息,同时可通过删除操作,清理任务信息。在后台任务管理页面,您还可以执行以下操作:单击,刷新任务状态。单击“删除”,弹出“删除任务记录”对话框,单击“确定”,清理任务信息。只有在任务已经执行完成,即任务状态为成功或者失败,或者定时任务已经取消,即任务状 - [查看Kafka生产消费示例代码](https://support.huaweicloud.com/usermanual-kafka/kafka_ug_0024.md): 分布式消息服务Kafka版支持在控制台查看Java、Go和Python语言的生产消费消息示例代码,您可以参考示例代码快速完成Kafka客户端的集成,并进行消息的生产和消费。示例代码根据语言分为:Java、Go和Python。根据接入类型分为:PlainText、SASL_SSL和SASL_PLAINTEXT。PlainText:客户端通过 - [修改Kafka实例配置参数](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-0007.md): 分布式消息服务Kafka版为实例、Topic、消费者提供了几个常用配置参数的默认值,您可以根据实际业务需求,在控制台自行修改参数值。其他在控制台未列出的配置参数,请参考Kafka配置进行修改。Kafka实例的参数分为动态参数和静态参数:动态参数:动态参数修改成功后,无需重启实例,立即生效。静态参数:静态参数修改成功后,需要手动重启实例才能 - [配置Kafka实例标签](https://support.huaweicloud.com/usermanual-kafka/TagManagement.md): 标签是Kafka实例的标识,为Kafka实例添加标签,可以方便用户识别和管理拥有的Kafka实例资源。如您的组织已经设定分布式消息服务Kafka版的相关标签策略,则需按照标签策略规则为Kafka实例添加标签。新添加的标签如果不符合标签策略的规则,会添加失败。标签共由两部分组成:“标签键”和“标签值”,其中,“标签键”和“标签值”的命名规则 - [配置Kafka实例回收站策略](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-0057.md): 开启回收站策略的实例在被删除后,会被临时存入回收站中,此时实例中的数据尚未被彻底删除,在保留天数内支持从回收站中恢复此实例。超过保留天数的实例会被彻底删除,无法恢复。回收站策略默认是关闭状态。回收站中的按需实例不会收取实例的费用,但是会收取存储空间的费用。包年/包月的实例退订后会存入回收站中,此时不会收取实例的费用,但是会按需收取存储空间 - [升级Kafka实例内核版本](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-0070.md): 升级Kafka实例内核版本指的是将老的内核版本升级到最新的内核版本,升级后,Kafka实例将支持一些新的特性(例如支持在控制台创建消费组、支持查看Topic详情等),并且修复老版本的一些问题。升级Kafka实例内核版本并非升级Kafka实例的版本,例如升级前Kafka版本为2.7,升级内核版本后,Kafka版本还是2.7。若Topic为单 - [导出Kafka实例列表](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-0053.md): 分布式消息服务Kafka版支持在控制台导出实例列表信息,供用户查看和使用。勾选待导出的实例,单击“导出 > 导出已选中数据到XLSX”,导出指定实例列表。单击“导出 > 导出全部数据到XLSX”,导出全部实例列表。 - [重启Kafka实例](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-180604015.md): 分布式消息服务Kafka版支持在控制台重启单个Kafka实例,或批量重启Kafka实例。在Kafka实例重启过程中,客户端的生产与消费消息等请求会被拒绝。在客户端配置重试机制,避免因为重启实例导致的业务断连。若Topic为单副本,重启期间无法对该Topic生产消息或消费消息,会造成业务中断。若Topic为多副本,不会造成服务中断,但会逐个 - [删除Kafka实例](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-180604016.md): 对于按需计费的Kafka实例,控制台支持删除单个实例,也可批量删除多个实例。对于包年/包月的Kafka实例,如果不再使用,单击“操作”栏下的“更多 > 退订”,退订成功后,Kafka实例会自动被删除。删除的实例能否恢复取决于是否开启回收站策略,如果未开启回收站策略,实例删除后,实例中原有的数据将被删除,且没有备份。回收站策略默认关闭,如果 - [访问Kafka Manager](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-180801002.md): Kafka Manager是开源的Kafka集群管理工具,需要通过浏览器才能访问Kafka Manager的地址。在Kafka Manager页面,您可以查看Kafka集群的监控、代理等信息。2023年5月17日及以后创建的实例不提供Kafka Manager,Kafka实例控制台已支持Kafka Manager相关功能,具体如下:已配置 - [重置Kafka Manager密码](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-190131001.md): 如果您忘记了创建实例时设置的Kafka Manager密码,通过重置Manager密码功能,重新设置一个新的密码,可使用新密码登录Kafka Manager。2023年5月17日及以后创建的实例不提供重置Kafka Manager密码功能。已创建Kafka实例,且实例处于“运行中”。在待重置Manager密码的Kafka实例所在行,单击“ - [重启Kafka Manager](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-200728001.md): 当Kafka Manager无法登录或者无法使用时,例如下图中的报错,可以通过重启Kafka Manager,使Kafka Manager恢复正常。2023年5月17日及以后创建的实例不提供重启Kafka Manager功能。重启Kafka Manager不会影响业务。在待重启Manager的Kafka实例所在行,单击“更多 > 重启Ma - [关闭Kafka Manager](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-0042.md): Kafka Manager会占用额外的内存和CPU资源,关闭Kafka Manager可以减少这部分资源的占用。本章节指导您在控制台关闭Kafka Manager。Kafka Manager关闭后,无法再次开启。关闭Kafka Manager,不会重启实例。关闭Kafka Manager后,控制台不显示Kafka Manager连接地址, - [变更Kafka集群实例规格](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-181221001.md): Kafka实例创建成功后,您可以根据业务需要,扩容或者缩容实例规格,Kafka实例支持的变更配置如表1所示。老规格实例:在实例列表中,“规格”显示为带宽(如100MB/s)的实例。新规格实例:在实例列表中,“规格”显示为ECS规格和代理个数(如kafka.2u4g.cluster*3 broker)的实例。本视频演示变更Kafka实例规格 - [自动扩容Kafka实例存储空间](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-0074.md): Kafka实例的磁盘使用量达到容量阈值时会触发对应的阈值处理策略,可能会导致消息被删除或无法继续生产消息。为了避免以上情况,您可以开启自动磁盘扩容功能。老实例不支持自动磁盘扩容功能,具体以控制台显示为准。单机实例不支持自动磁盘扩容。如果短时间内磁盘使用量迅速增加,无法保证在磁盘使用量到达容量阈值前完成自动磁盘扩容。自动扩容存储空间不会影响 - [Kafka数据迁移概述](https://support.huaweicloud.com/usermanual-kafka/kafka-bp-migration.md): Kafka迁移是指将生产与消费消息的客户端切换为连接新Kafka,部分还涉及将持久化的消息文件迁移到新Kafka。主要涉及到以下2类场景:业务上云且不希望业务有中断。在上云过程中,连续性要求高的业务,需要平滑迁移,不能有长时间的中断。在上云过程中,连续性要求高的业务,需要平滑迁移,不能有长时间的中断。在云上变更业务部署。单AZ部署的Kaf - [使用MirrorMaker跨集群同步数据](https://support.huaweicloud.com/usermanual-kafka/Kafka-bp-0002.md): 在以下场景,使用MirrorMaker进行不同集群间的数据同步,可以确保Kafka集群的可用性和可靠性。备份和容灾:企业存在多个数据中心,为了防止其中一个数据中心出现问题,导致业务不可用,会将集群数据同步备份在多个不同的数据中心。集群迁移:当今很多企业将业务迁移上云,迁移过程中需要确保线下集群和云上集群的数据同步,保证业务的连续性。使用M - [开启Smart Connect](https://support.huaweicloud.com/usermanual-kafka/kafka_ug_0017.md): Smart Connect用于Kafka实例和其他云服务(如OBS)之间的数据同步,或者两个Kafka实例之间的数据同步,实现数据的备份或迁移。Smart Connect的使用流程为:开启Smart Connect。创建Smart Connect任务。本章节主要介绍如何开启Smart Connect。开启Smart Connect后,实例 - [配置Kafka间的数据复制](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-0034.md): 本章节介绍如何创建Kafka数据复制的Smart Connect任务,通过Smart Connect任务可以在两个Kafka实例之间,实现数据的单向或双向复制。本视频演示两个Kafka实例数据复制的操作。因产品功能演进,操作界面可能存在差异,相关视频仅供参考,具体以实际环境为准。Smart Connect任务将源Topic的配置信息和消息 - [配置Kafka数据转储至OBS](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-0035.md): 本章节介绍如何创建转储的Smart Connect任务,通过Smart Connect任务可以将Kafka实例中的数据转储至OBS中,实现消息数据的备份。源Kafka实例中的数据会实时同步到转储文件中。单机实例不支持创建转储的Smart Connect任务。一个实例最多创建18个Smart Connect任务。Smart Connect任 - [管理Smart Connect任务](https://support.huaweicloud.com/usermanual-kafka/kafka_ug_0018.md): 在创建Smart Connect任务后,可以在控制台对任务进行管理操作,包括查看任务、删除任务、启动/暂停任务、重启任务等。单机实例不支持管理Smart Connect任务。已创建Smart Connect任务。如果Smart Connect任务没有配置源端信息/目标端信息,在Smart Connect任务详情页面不显示源端信息/目标端信 - [关闭Smart Connect](https://support.huaweicloud.com/usermanual-kafka/kafka_ug_0041.md): 如果不再使用Smart Connect相关功能,您可以关闭Smart Connect,释放资源。关闭Smart Connect不会影响业务。关闭Smart Connect后,实例会停止收取用于Smart Connect的代理费用,并自动删除用于Smart Connect的代理。关闭Smart Connect后,再重新开启Smart Con - [测试Kafka生产速率和CPU消耗](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-0067.md): 本章节从批处理大小、是否跨AZ生产、副本数、同步/异步复制的维度进行分布式消息服务Kafka版的性能测试,对比客户端消息生产速率和服务端CPU消耗,得出性能测试结果。测试场景一(批处理大小):相同的Kafka实例和Topic,不同的消息大小测试场景二(是否跨AZ生产):相同的Kafka实例和Topic,生产客户端和服务端在不同的AZ中测试 - [测试Kafka实例TPS](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-0068.md): 通过以下几个场景,测试不同实例规格的TPS。测试场景一(实例是否开启SASL):相同的Topic,实例分为开启SASL和未开启SASL测试场景二(同步/异步复制):相同的实例,不同复制机制的Topic测试场景三(是否同步落盘):相同的实例,不同落盘机制的Topic测试场景四(不同磁盘类型):相同的Topic,不同磁盘类型的实例测试场景五( - [申请扩大Kafka配额](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-0005.md): 为防止资源滥用,平台限定了各服务资源的配额,对用户的资源数量和容量做了限制。如您最多可以创建多少个Kafka实例。如果当前资源配额限制无法满足使用需要,您可以申请扩大配额。登录Kafka控制台。单击管理控制台左上角的,选择区域和项目。在页面右上角,选择“资源 > 我的配额”。系统进入“服务配额”页面。我的配额系统进入“服务配额”页面。您可 - [查看Kafka监控数据](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-190605001.md): 云监控对Kafka实例的运行状态进行日常监控,可以通过控制台直观地查看Kafka实例各项监控指标和关键指标的Top数据。在Kafka控制台的“监控 > 监控详情”页面中,下拉框中每次最多可以选择50个资源,即每次最多可以查看50个资源的监控数据。如果资源数量超过50个,建议分批查看。已创建Kafka实例,且实例中有可消费的消息。Kafka - [Kafka支持的监控指标](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-180413002.md): 本章节定义了分布式消息服务Kafka版上报云监控服务的监控指标的命名空间,监控指标列表和维度定义,您可以通过云监控服务的管理控制台或API接口来检索Kafka实例产生的监控指标和告警信息,也可以通过分布式消息服务Kafka版控制台提供的“监控详情”页面来检索Kafka实例产生的监控指标。云监控服务最大支持4个层级维度,维度编号从0开始,编 - [配置Kafka监控告警](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-180524001.md): 本章节主要介绍部分监控指标的告警策略,以及配置操作。在实际业务中,建议按照以下告警策略,配置监控指标的告警规则。本视频演示配置告警通知的操作。因产品功能演进,操作界面可能存在差异,相关视频仅供参考,具体以实际环境为准。以下步骤指导您配置指定Kafka实例的告警规则。在Kafka实例名称后,单击“查看监控数据”,进入云监控该实例的监控指标页 - [查看Kafka审计日志](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-180418002.md): 通过云审计服务(Cloud Trace Service,CTS),您可以记录与分布式消息服务Kafka版相关的操作事件,便于日后的查询、审计和回溯。已开通CTS。查看DMS for Kafka云审计日志,请参考查看审计事件。 ## 最佳实践 - [Kafka最佳实践汇总](https://support.huaweicloud.com/bestpractice-kafka/Kafka_bp_0011.md): 本文汇总了基于分布式消息服务Kafka版常见应用场景的操作实践,为每个实践提供详细的方案描述和操作指导,帮助用户轻松使用Kafka。 - [提高Kafka消息处理效率](https://support.huaweicloud.com/bestpractice-kafka/kafka-bp-190605002.md): 消息发送和消费的可靠性必须由分布式消息服务Kafka版和生产者以及消费者协同工作才能保证。同时开发者需要尽量合理使用分布式消息服务Kafka版的Topic,以提高消息发送和消息消费的效率与准确性。对使用分布式消息服务Kafka版的生产者和消费者有如下的使用建议:消息生产发送消息后,生产者需要根据分布式消息服务Kafka版的返回信息确认消息 - [Logstash对接Kafka生产消费消息](https://support.huaweicloud.com/bestpractice-kafka/Kafka_bp_0005.md): Logstash是免费且开放的服务器端数据处理管道,能够从多个来源采集数据,转换数据,然后将数据发送到指定的存储中。Kafka是一种高吞吐量的分布式发布订阅消息系统,也是Logstash支持的众多输入输出源之一。本章节主要介绍Logstash如何对接Kafka实例。Kafka实例作为Logstash输出源的示意图如下。Kafka实例作为L - [使用MirrorMaker跨集群同步数据](https://support.huaweicloud.com/bestpractice-kafka/Kafka-bp-0002.md): 在以下场景,使用MirrorMaker进行不同集群间的数据同步,可以确保Kafka集群的可用性和可靠性。备份和容灾:企业存在多个数据中心,为了防止其中一个数据中心出现问题,导致业务不可用,会将集群数据同步备份在多个不同的数据中心。集群迁移:当今很多企业将业务迁移上云,迁移过程中需要确保线下集群和云上集群的数据同步,保证业务的连续性。使用M - [消息堆积处理建议](https://support.huaweicloud.com/bestpractice-kafka/Kafka_bp_0006.md): Kafka将Topic划分为多个分区,消息被分布式存储在分区中。同一个消费组内,一个消费者可同时消费多个分区,但一个分区在同一时刻只能被一个消费者消费。在消息处理过程中,如果客户端的消费速度跟不上服务端的发送速度,未处理的消息会越来越多,这部分消息就被称为堆积消息。消息没有被及时消费就会产生消息堆积,从而会造成消息消费延迟。消息堆积原因导 - [业务过载处理建议](https://support.huaweicloud.com/bestpractice-kafka/Kafka_bp_0007.md): Kafka业务过载,一般表现为CPU使用率高、磁盘写满的现象。当CPU使用率过高时,系统的运行速度会降低,并有加速硬件损坏的风险。当磁盘写满时,相应磁盘上的Kafka日志目录会出现offline问题。此时,该磁盘上的分区副本不可读写,降低了分区的可用性和容错能力。同时由于Leader分区迁移到其他节点,会增加其他节点的负载。CPU使用率高 - [业务数据不均衡处理建议](https://support.huaweicloud.com/bestpractice-kafka/Kafka_bp_0008.md): Kafka将Topic划分为多个分区,所有消息分布式存储在各个分区上。每个分区有一个或多个副本,分布在不同的Broker节点上,每个副本存储一份全量数据,副本之间的消息数据保持同步。Kafka的Topic、分区、副本和代理的关系如下图所示:在实际业务过程中可能会遇到各节点间或分区之间业务数据不均衡的情况,业务数据不均衡会降低Kafka集群 - [Kafka Topic分区数设置建议](https://support.huaweicloud.com/bestpractice-kafka/Kafka_bp_0012.md): Topic分区数是影响Kafka系统性能、吞吐量以及并行度的关键配置之一:分区数过少,会限制生产者的并发能力,还可能导致消费者出现空闲现象;分区数过多,则可能造成集群性能下降、监控统计间隔增长等问题。因此,为Topic设置合理的分区数至关重要。分区数的设置需结合集群规模、消费者数量及扩展性综合考量,以下针对这些因素提供具体设置建议: - [Kafka消息压缩配置建议](https://support.huaweicloud.com/bestpractice-kafka/Kafka_bp_0013.md): 在Kafka消息存储与传输流程中,消息压缩是一种优化性能、降低资源开销的方法。Kafka支持GZIP、SNAPPY、LZ4等多种压缩算法,这些算法在消息写入磁盘前对其进行压缩,既能减少存储空间占用,也能在网络传输过程中降低带宽消耗。压缩原理介绍:Kafka压缩算法在生产者客户端配置时,即可同时优化“磁盘存储”和“网络传输”,也能提高吞吐量 - [配置消息堆积数监控](https://support.huaweicloud.com/bestpractice-kafka/Kafka-bp-0001.md): 在消息处理过程中,如果客户端的消费速度跟不上服务端的发送速度,未处理的消息会越来越多,这部分消息就被称为堆积消息。消息没有被及时消费就会产生消息堆积,从而会造成消息消费延迟。如果您想要在消费组的消息堆积数超过阈值时,通过短信/邮件及时收到通知信息,可以参考本章节设置告警通知。您还可以参考本章节为分布式消息服务Kafka版的其他监控指标设置 - [DMS for Kafka安全使用建议](https://support.huaweicloud.com/bestpractice-kafka/Kafka_bp_0010.md): 安全性是华为云与您的共同责任。华为云负责云服务自身的安全,提供安全的云;作为租户,您需要合理使用云服务提供的安全能力对数据进行保护,安全地使用云。详情请参见责任共担。本文提供了使用DMS for Kafka过程中的安全最佳实践,旨在为提高整体安全能力提供可操作的规范性指导。根据该指导文档您可以持续评估DMS for Kafka资源的安全状 - [优化消费者轮询(Polling)](https://support.huaweicloud.com/bestpractice-kafka/kafka-bp-190605001.md): 在分布式消息服务Kafka版提供的原生Kafka SDK中,消费者可以自定义拉取消息的时长,如果需要长时间的拉取消息,只需要把poll(long)方法的参数设置合适的值即可。但是这样的长连接可能会对客户端和服务端造成一定的压力,特别是分区数较多且每个消费者开启多个线程的情况下。如图1所示,Topic含有多个分区,消费组中有多个消费者同时进 ## 开发指南 - [概述](https://support.huaweicloud.com/devg-kafka/Kafka-summary.md): Kafka实例完全兼容开源Kafka协议,可以直接使用kafka开源客户端连接。如果“kafka安全协议”设置为“SASL_SSL”,则在开源客户端基础上使用云服务提供的证书文件或者您自制的客户端证书文件。本指南主要介绍实例连接信息的收集,如获取实例连接地址、Topic名称等,然后提供Java、Python和Go等语言的连接示例。本指南的 - [收集连接信息](https://support.huaweicloud.com/devg-kafka/Kafka-config.md): 在连接Kafka实例生产消费消息前,请先获取以下Kafka实例信息。实例创建后,从Kafka实例控制台的“概览”页面中获取。如果Kafka实例为集群部署,至少有3个连接地址,在客户端配置时,建议配置所有的连接地址,提高可靠性。如果开启公网访问,还可以使用“概览 > 连接信息”页面的公网连接地址访问Kafka实例。从Kafka实例控制台的T - [Java客户端接入示例](https://support.huaweicloud.com/devg-kafka/Kafka-java-demo.md): 本文介绍Maven方式引入Kafka客户端,并完成Kafka实例连接以及消息生产与消费的相关示例。如果您需要在IDE中查看Demo具体表现,请查看Java开发环境搭建。下文所有Kafka的配置信息,如实例连接地址、Topic名称、用户信息等,请参考收集连接信息获取。为了方便,下文分生产与消费两个配置文件介绍。其中涉及SASL认证配置,如果 - [Java开发环境搭建](https://support.huaweicloud.com/devg-kafka/how-to-connect-kafka.md): 基于收集连接信息的介绍,假设您已经获取了实例连接相关的信息,以及配置好客户端的网络环境。本章节以生产与发送消息的Demo为例,介绍Kafka客户端的环境配置。MavenApache Maven 3.0.3及以上版本,可至Maven官方下载页面下载。Apache Maven 3.0.3及以上版本,可至Maven官方下载页面下载。JDKJav - [Python](https://support.huaweicloud.com/devg-kafka/kafka-python.md): 本文以Linux CentOS环境为例,介绍Python版本的Kafka客户端连接指导,包括Kafka客户端安装,以及生产、消费消息。使用前请参考收集连接信息收集Kafka所需的连接信息。Python一般系统预装了Python,您可以在命令行输入python或者python3,查看Python是否已经安装。python命令只能查询Pyth - [Go](https://support.huaweicloud.com/devg-kafka/kafka-go.md): 本文以Linux CentOS环境为例,介绍Go 1.16.5版本的Kafka客户端连接指导,包括demo代码库的获取,以及生产、消费消息。使用前请参考收集连接信息收集Kafka所需的连接信息。执行以下命令,检查是否已安装Go。go version返回如下回显时,说明Go已经安装。[root@ecs-test confluent-kafk - [获取Kafka开源客户端](https://support.huaweicloud.com/devg-kafka/kafka-connect-other.md): Kafka实例支持多种语言的客户端,如果您想要使用其他语言连接Kafka实例,可以从Kafka官网获取客户端。Kafka官网支持的客户端语言包括:C/C++、Python、Go、PHP、Node.js等等。Kafka实例完全兼容开源客户端,按照Kafka官网提供的连接说明,与Kafka实例对接。 - [spring-kafka的使用](https://support.huaweicloud.com/devg-kafka/kafka-spring.md): 本文介绍如何使用spring-kafka连接华为云Kafka实例进行消息的生产和消费。相关代码您可以从kafka-springboot-demo中获取。下文所有Kafka的配置信息,如实例连接地址、Topic名称、用户信息等,请参考收集连接信息获取。请根据您的JDK版本选择兼容的spring-kafka版本,否则会导致连接实例失败。JDK ## API参考 - [使用前必读](https://support.huaweicloud.com/api-kafka/kafka-api-180522001.md): 欢迎使用分布式消息服务Kafka版。分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队列服务,向用户提供计算、存储和带宽资源独占式的Kafka专享实例。使用分布式消息服务Kafka版,资源按需申请,按需配置Topic的分区与副本数量,即买即用,您将有更多精力专注于业务快速开发,不用考虑部署和运维。本文档提供了分布式消息服 - [API概览](https://support.huaweicloud.com/api-kafka/kafka-api-180423002.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 - [构造请求](https://support.huaweicloud.com/api-kafka/kafka-api-0036212542.md): 本节介绍REST API请求的组成,并以调用IAM服务的管理员创建IAM用户来说明如何调用API。您还可以通过这个视频教程了解如何构造请求调用API:https://bbs.huaweicloud.com/videos/102987。请求URI由如下部分组成。{URI-scheme}://{Endpoint}/{resource-path - [认证鉴权](https://support.huaweicloud.com/api-kafka/kafka-api-0086485751.md): 调用接口有如下两种认证方式,您可以选择其中一种进行认证鉴权。AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。推荐使用AK/SK认证,其安全性比Token认证要高。Token认证:通过Token认证调用请求。AK/SK签名认证方式仅支持消息体大小12M以内,12M以上的请求请使 - [返回结果](https://support.huaweicloud.com/api-kafka/kafka-api-190128002.md): 请求发送以后,您会收到响应,包含状态码、响应消息头和消息体。状态码是一组从1xx到5xx的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。对于管理员创建IAM用户接口,如果调用后返回状态码为201,则表示请求成功。对应请求消息头,响应同样也有消息头,如Content-type。对于管理员创建IAM用户接口,返回如图1所 - [快速入门](https://support.huaweicloud.com/api-kafka/api-getting-started.md): 您可以根据业务需要创建相应计算能力和存储空间的Kafka实例。API调用方法请参考如何调用API。已获取IAM的Endpoint,具体请参见地区和终端节点。已获取Kafka的Endpoint,具体请参见地区和终端节点。如下示例是创建Kafka实例的请求消息:name:实例名称,由您自行定义。engine:消息引擎,设置kafka。engi - [创建Kafka实例 - CreatePostPaidKafkaInstance](https://support.huaweicloud.com/api-kafka/CreatePostPaidKafkaInstance.md): 创建实例。该接口支持创建按需和包周期两种计费方式的实例。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖 - [查询所有实例列表 - ListInstances](https://support.huaweicloud.com/api-kafka/ListInstances.md): 查询租户的实例列表,支持按照条件查询。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:i - [查询指定实例 - ShowInstance](https://support.huaweicloud.com/api-kafka/ShowInstance.md): 查询指定实例的详细信息。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:instance - [删除指定的实例 - DeleteInstance](https://support.huaweicloud.com/api-kafka/DeleteInstance.md): 删除指定的实例,释放该实例的所有资源。注意:调用本接口删除的实例将被彻底删除,不会进入回收站,且删除后不可恢复。若您需要删除的实例进入回收站,请使用批量重启或删除实例。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请 - [修改实例信息 - UpdateInstance](https://support.huaweicloud.com/api-kafka/UpdateInstance.md): 修改实例信息。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:instance:upda - [批量重启或删除实例 - BatchRestartOrDeleteInstances](https://support.huaweicloud.com/api-kafka/BatchRestartOrDeleteInstances.md): 批量重启或删除实例。在实例重启过程中,客户端的生产与消费消息等请求会被拒绝。实例删除后,实例中原有的数据将被删除,且没有备份,请谨慎操作。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份 - [获取实例配置 - ShowInstanceConfigs](https://support.huaweicloud.com/api-kafka/ShowInstanceConfigs.md): 获取实例配置。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:instance:getD - [修改实例配置 - ModifyInstanceConfigs](https://support.huaweicloud.com/api-kafka/ModifyInstanceConfigs.md): 修改实例配置。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,当前API调用无需身份策略权限。PUT /v2/{project_id}/instances/{instance_ - [实例升级 - UpgradeInstance](https://support.huaweicloud.com/api-kafka/UpgradeInstance.md): 实例内核升级。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:instance:upgr - [查询Kafka实例版本信息 - ShowUpgradeInstanceVersion](https://support.huaweicloud.com/api-kafka/ShowUpgradeInstanceVersion.md): 查询Kafka实例版本信息。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,当前API调用无需身份策略权限。GET /v2/{project_id}/kafka/instanc - [重置密码 - ResetPassword](https://support.huaweicloud.com/api-kafka/ResetPassword.md): 重置密码(只针对开通SSL的实例)。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:in - [重置Manager密码 - ResetManagerPassword](https://support.huaweicloud.com/api-kafka/ResetManagerPassword.md): 重置Manager密码。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:instance - [重启Manager - RestartManager](https://support.huaweicloud.com/api-kafka/RestartManager.md): 重启Manager。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:instance:m - [修改实例跨VPC访问的内网IP - UpdateInstanceCrossVpcIp](https://support.huaweicloud.com/api-kafka/UpdateInstanceCrossVpcIp.md): 修改实例跨VPC访问的内网IP。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:inst - [查询Kafka集群元数据信息 - ShowCluster](https://support.huaweicloud.com/api-kafka/ShowCluster.md): 查询Kafka集群元数据信息。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:insta - [查询Kafka实例的协调器信息 - ShowCoordinators](https://support.huaweicloud.com/api-kafka/ShowCoordinators.md): 查询Kafka实例的协调器信息。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:coor - [修改Kafka的接入方式 - UpdateKafkaPortProtocol](https://support.huaweicloud.com/api-kafka/UpdateKafkaPortProtocol.md): 修改Kafka的内网或者公网接入方式。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:i - [查询Topic的磁盘存储情况 - ShowKafkaTopicPartitionDiskusage](https://support.huaweicloud.com/api-kafka/ShowKafkaTopicPartitionDiskusage.md): 查询Topic在Broker上磁盘占用情况。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dm - [关闭Kafka Manager - CloseKafkaManager](https://support.huaweicloud.com/api-kafka/CloseKafkaManager.md): 关闭Kafka Manager,相应的原来开放出的management相关接口也将不可用。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别 - [恢复回收站实例 - RestoreRecycleInstance](https://support.huaweicloud.com/api-kafka/RestoreRecycleInstance.md): 恢复回收站实例。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:instance:res - [查询回收站实例列表 - ShowRecycleInstances](https://support.huaweicloud.com/api-kafka/ShowRecycleInstances.md): 查询回收站实例列表。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,当前API调用无需身份策略权限。GET /v2/{project_id}/recycle无状态码:200查询 - [更新回收站策略 - ModifyRecyclePolicy](https://support.huaweicloud.com/api-kafka/ModifyRecyclePolicy.md): 更新回收站策略。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms::updateRecyc - [查询Kafka实例重平衡日志详情 - ShowKafkaRebalanceLog](https://support.huaweicloud.com/api-kafka/ShowKafkaRebalanceLog.md): 查询Kafka实例重平衡日志详情。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:ins - [开启Kafka实例重平衡日志功能 - CreateKafkaRebalanceLogTask](https://support.huaweicloud.com/api-kafka/CreateKafkaRebalanceLogTask.md): 开启Kafka实例重平衡日志功能。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:ins - [关闭Kafka实例重平衡日志功能 - StopKafkaRebalanceLogTask](https://support.huaweicloud.com/api-kafka/StopKafkaRebalanceLogTask.md): 关闭Kafka实例重平衡日志功能。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:ins - [开启或者关闭Kafka实例公网访问功能 - ModifyKafkaPublicIpAccessSwitch](https://support.huaweicloud.com/api-kafka/ModifyKafkaPublicIpAccessSwitch.md): 开启或者关闭Kafka实例公网访问功能。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,当前API调用无需身份策略权限。POST /v1/{project_id}/instan - [查询Kafka集群信息 - ShowKafkaCluster](https://support.huaweicloud.com/api-kafka/ShowKafkaCluster.md): 查询Kafka集群信息。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,当前API调用无需身份策略权限。GET /v2/{project_id}/instances/{inst - [查询开启Smart Connect功能所需资源信息 - ShowConnectorResourceInfo](https://support.huaweicloud.com/api-kafka/ShowConnectorResourceInfo.md): 查询开启Smart Connect功能所需要使用的资源的情况请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,当前API调用无需身份策略权限。GET /v2/{project_i - [开启Smart Connect(按需实例) - CreateConnector](https://support.huaweicloud.com/api-kafka/CreateConnector.md): 开启Smart Connect,提交创建Smart Connect节点任务。当前通过调用API,只支持按需实例创建Smart Connect节点。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果 - [关闭Smart Connect(按需实例) - DeleteConnector](https://support.huaweicloud.com/api-kafka/DeleteConnector.md): 介绍按需实例如何关闭Smart Connect。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项 - [创建Smart Connect任务 - CreateConnectorTask](https://support.huaweicloud.com/api-kafka/CreateConnectorTask.md): 创建Smart Connect任务。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:in - [查询Smart Connect任务列表 - ListConnectorTasks](https://support.huaweicloud.com/api-kafka/ListConnectorTasks.md): 查询Smart Connect任务列表。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms: - [查询Smart Connect任务详情 - ShowConnectorTask](https://support.huaweicloud.com/api-kafka/ShowConnectorTask.md): 查询Smart Connect任务详情。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms: - [删除Smart Connect任务 - DeleteConnectorTask](https://support.huaweicloud.com/api-kafka/DeleteConnectorTask.md): 删除Smart Connect任务。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:in - [修改Smart Connect任务配置 - ModifyConnectorTask](https://support.huaweicloud.com/api-kafka/ModifyConnectorTask.md): 修改Smart Connect任务配置。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms: - [校验Connector连通性 - ValidateConnectorConnectivity](https://support.huaweicloud.com/api-kafka/ValidateConnectorConnectivity.md): 校验Connector连通性。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:conne - [暂停Smart Connect任务 - PauseConnectorTask](https://support.huaweicloud.com/api-kafka/PauseConnectorTask.md): 暂停Smart Connect任务。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:in - [启动已暂停的Smart Connect任务 - ResumeConnectorTask](https://support.huaweicloud.com/api-kafka/ResumeConnectorTask.md): 启动已暂停的Smart Connect任务。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dm - [启动未启动的Smart Connect任务/重启已暂停或者运行中的Smart Connect任务 - RestartConnectorTask](https://support.huaweicloud.com/api-kafka/RestartConnectorTask.md): 用于启动未启动的Smart Connect任务以及重启已暂停或者运行中的Smart Connect任务。注意,重启Smart Connect任务将重置同步进度,并重新开始同步任务。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具 - [查询OBS桶列表 - ListObsBuckets](https://support.huaweicloud.com/api-kafka/ListObsBuckets.md): 查询OBS桶列表。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,当前API调用无需身份策略权限。GET /v1.0/dms/obs/buckets无状态码:200状态码:20 - [实例扩容 - ResizeKafkaInstance](https://support.huaweicloud.com/api-kafka/ResizeKafkaInstance.md): 实例规格变更。当前通过调用API,只支持按需实例进行实例扩容。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别 - [查询实例的扩容规格列表 - ShowKafkaInstanceExtendProductInfo](https://support.huaweicloud.com/api-kafka/ShowKafkaInstanceExtendProductInfo.md): 查询实例的扩容规格列表。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:instance - [查询磁盘自动扩容配置 - ShowVolumeExpandConfig](https://support.huaweicloud.com/api-kafka/ShowVolumeExpandConfig.md): 查询磁盘自动扩容配置,包括磁盘自动扩容是否开启,以及开启后的扩容阈值、扩容步长、扩容上限信息。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,当前API调用无需身份策略权限。G - [修改磁盘自动扩容配置 - UpdateVolumeExpansionConfig](https://support.huaweicloud.com/api-kafka/UpdateVolumeExpansionConfig.md): 该接口用于修改磁盘自动扩容配置,包含磁盘自动扩容是否开启、扩容阈值、扩容步长,以及扩容上限的配置。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,当前API调用无需身份策略权限 - [获取Kafka实例扩容前置检查信息 - ShowKafkaScalePreCheckInfo](https://support.huaweicloud.com/api-kafka/ShowKafkaScalePreCheckInfo.md): 获取Kafka实例扩容前置检查信息。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,当前API调用无需身份策略权限。GET /v2/{project_id}/kafka/ins - [开启或关闭实例自动创建Topic功能 - UpdateInstanceAutoCreateTopic](https://support.huaweicloud.com/api-kafka/UpdateInstanceAutoCreateTopic.md): 开启或关闭实例自动创建Topic功能。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:t - [Kafka生产消息 - SendKafkaMessage](https://support.huaweicloud.com/api-kafka/SendKafkaMessage.md): 在控制台发送指定消息到Kafka实例。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:m - [Kafka实例创建Topic - CreateInstanceTopic](https://support.huaweicloud.com/api-kafka/CreateInstanceTopic.md): 该接口用于向Kafka实例创建Topic。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms - [Kafka实例查询Topic - ListInstanceTopics](https://support.huaweicloud.com/api-kafka/ListInstanceTopics.md): 该接口用于查询指定Kafka实例的Topic详情。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权 - [修改Kafka实例Topic - UpdateInstanceTopic](https://support.huaweicloud.com/api-kafka/UpdateInstanceTopic.md): 修改Kafka实例Topic请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:topic: - [获取Kafka Topic详细信息 - ShowKafkaTopicDetail](https://support.huaweicloud.com/api-kafka/ShowKafkaTopicDetail.md): 获取Kafka Topic详细信息。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,当前API调用无需身份策略权限。GET /v2/kafka/{project_id}/ins - [Kafka实例批量删除Topic - BatchDeleteInstanceTopic](https://support.huaweicloud.com/api-kafka/BatchDeleteInstanceTopic.md): 该接口用于向Kafka实例批量删除Topic。批量删除多个Topic时,部分删除成功,部分失败,此时接口返回删除成功,并在返回中显示删除失败的Topic信息。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和 - [查询Topic的分区列表 - ListTopicPartitions](https://support.huaweicloud.com/api-kafka/ListTopicPartitions.md): 查询Topic的分区列表请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:topic:ge - [查询Topic的当前生产者列表 - ListTopicProducers](https://support.huaweicloud.com/api-kafka/ListTopicProducers.md): 查询Topic的当前生产者列表。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:topi - [删除Topic流控配置 - DeleteKafkaTopicQuota](https://support.huaweicloud.com/api-kafka/DeleteKafkaTopicQuota.md): 该接口用于向Kafka实例提交删除Topic级别的流控任务,若成功则返回流控任务的job_id。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访 - [创建Topic流控配置 - CreateKafkaTopicQuota](https://support.huaweicloud.com/api-kafka/CreateKafkaTopicQuota.md): 该接口用于向Kafka实例提交创建Topic级别的流控任务,若成功则返回流控任务的job_id。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访 - [修改Topic流控配置 - ModifyKafkaTopicQuota](https://support.huaweicloud.com/api-kafka/ModifyKafkaTopicQuota.md): 该接口用于向Kafka实例提交修改Topic级别的流控任务,若成功则返回流控任务的job_id。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访 - [查询Topic流控配置 - ShowKafkaTopicQuota](https://support.huaweicloud.com/api-kafka/ShowKafkaTopicQuota.md): 该接口用于查询Topic级别的流控任务。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms: - [Kafka实例开始分区平衡任务 - CreateKafkaReassignmentTask](https://support.huaweicloud.com/api-kafka/CreateKafkaReassignmentTask.md): 该接口用于向Kafka实例提交分区平衡任务,若成功则返回分区平衡任务的job id。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类 - [查询消费组信息 - ShowGroups](https://support.huaweicloud.com/api-kafka/ShowGroups.md): 查询消费组信息。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:group:getRea - [查询所有消费组 - ListInstanceConsumerGroups](https://support.huaweicloud.com/api-kafka/ListInstanceConsumerGroups.md): 查询所有消费组。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:group:listLi - [Kafka实例批量删除消费组 - BatchDeleteGroup](https://support.huaweicloud.com/api-kafka/BatchDeleteGroup.md): 该接口用于向Kafka实例批量删除消费组。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms - [创建消费组 - CreateKafkaConsumerGroup](https://support.huaweicloud.com/api-kafka/CreateKafkaConsumerGroup.md): 实例创建消费组请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:group:createW - [重置消费组消费进度到指定位置 - ResetMessageOffsetWithEngine](https://support.huaweicloud.com/api-kafka/ResetMessageOffsetWithEngine.md): Kafka实例不支持在线重置消费进度。在执行重置消费进度之前,必须停止被重置消费组客户端。停止待重置消费组客户端,然后等待一段时间(即ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG配置的时间,默认为1000毫秒)后,服务端才认为此消费组客户端已下线。请参见如何调用API。账号具备所有API的调用权限,如果 - [查询消费组消息位点 - ListInstanceConsumerGroupMessageOffset](https://support.huaweicloud.com/api-kafka/ListInstanceConsumerGroupMessageOffset.md): 查询消费组消息位点。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,当前API调用无需身份策略权限。GET /v2/{engine}/{project_id}/instance - [批量修改消费组 - UpdateInstanceGroup](https://support.huaweicloud.com/api-kafka/UpdateInstanceGroup.md): 批量修改消费组。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,当前API调用无需身份策略权限。PUT /v2/{engine}/{project_id}/instances/ - [查询指定消费组 - ListInstanceConsumerGroup](https://support.huaweicloud.com/api-kafka/ListInstanceConsumerGroup.md): 查询指定消费组。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,当前API调用无需身份策略权限。GET /v2/{engine}/{project_id}/instances/ - [删除指定消费组 - DeleteInstanceConsumerGroup](https://support.huaweicloud.com/api-kafka/DeleteInstanceConsumerGroup.md): 删除指定消费组。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,当前API调用无需身份策略权限。DELETE /v2/{engine}/{project_id}/instanc - [修改指定消费组 - UpdateInstanceConsumerGroup](https://support.huaweicloud.com/api-kafka/UpdateInstanceConsumerGroup.md): 修改指定消费组。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:group:modify - [查询指定消费组的Topic - ListInstanceConsumerGroupTopics](https://support.huaweicloud.com/api-kafka/ListInstanceConsumerGroupTopics.md): 查询指定消费组的Topic。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,当前API调用无需身份策略权限。GET /v2/{engine}/{project_id}/inst - [删除消费组在指定Topic的消费位点 - DeleteConsumerGroupOffsets](https://support.huaweicloud.com/api-kafka/DeleteConsumerGroupOffsets.md): 删除消费组在指定Topic的消费位点。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:g - [查询指定消费组的消费成员 - ListInstanceConsumerGroupMembers](https://support.huaweicloud.com/api-kafka/ListInstanceConsumerGroupMembers.md): 查询指定消费组的消费成员。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,当前API调用无需身份策略权限。GET /v2/{engine}/{project_id}/insta - [删除用户/客户端流控配置 - DeleteKafkaUserClientQuotaTask](https://support.huaweicloud.com/api-kafka/DeleteKafkaUserClientQuotaTask.md): 该接口用于向Kafka实例提交删除用户、客户端级别的流控任务,若成功则返回流控任务的job_id。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项 - [查询用户/客户端流控配置 - ShowKafkaUserClientQuota](https://support.huaweicloud.com/api-kafka/ShowKafkaUserClientQuota.md): 该接口用于向Kafka实例查询流控的配置,若成功则返回流控配置的列表。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须) - [创建用户/客户端流控配置 - CreateKafkaUserClientQuotaTask](https://support.huaweicloud.com/api-kafka/CreateKafkaUserClientQuotaTask.md): 该接口用于向Kafka实例提交创建用户、客户端级别的流控任务,若成功则返回流控任务的job_id。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项 - [修改用户/客户端流控配置 - UpdateKafkaUserClientQuotaTask](https://support.huaweicloud.com/api-kafka/UpdateKafkaUserClientQuotaTask.md): 该接口用于向Kafka实例提交修改用户、客户端级别的流控任务,若成功则返回流控任务的job_id。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项 - [查询用户列表 - ShowInstanceUsers](https://support.huaweicloud.com/api-kafka/ShowInstanceUsers.md): 查询用户列表。Kafka实例开启SASL功能时,才支持多用户管理的功能。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须 - [创建用户 - CreateInstanceUser](https://support.huaweicloud.com/api-kafka/CreateInstanceUser.md): 创建Kafka实例的用户,用户可连接开启SASL的Kafka实例。 2023年7月15日前创建的Kafka实例,一个实例最多创建20个用户。2023年7月15日及以后创建的Kafka实例,一个实例最多创建500个用户。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用AP - [批量删除用户 - BatchDeleteInstanceUsers](https://support.huaweicloud.com/api-kafka/BatchDeleteInstanceUsers.md): 批量删除Kafka实例的用户。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:user: - [重置用户密码 - ResetUserPassword](https://support.huaweicloud.com/api-kafka/ResetUserPasswrod.md): 重置用户密码请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:user:modifyWri - [修改用户参数 - UpdateInstanceUser](https://support.huaweicloud.com/api-kafka/UpdateInstanceUser.md): 修改用户参数请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:user:modifyWri - [查询用户权限 - ShowTopicAccessPolicy](https://support.huaweicloud.com/api-kafka/ShowTopicAccessPolicy.md): 查询用户权限。Kafka实例开启SASL功能时,才支持多用户管理的功能。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须 - [设置用户权限 - UpdateTopicAccessPolicy](https://support.huaweicloud.com/api-kafka/UpdateTopicAccessPolicy.md): 设置用户权限。Kafka实例开启SASL功能时,才支持多用户管理的功能。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须 - [查询消息 - ShowInstanceMessages](https://support.huaweicloud.com/api-kafka/ShowInstanceMessages.md): Kafka实例支持两种消息查询方式,具体查询范围及结果如下:按创建时间查询:若已知消息的创建时间段,可通过该方式查询,将返回消息列表及对应偏移量,但不包含消息具体内容。按创建时间查询:若已知消息的创建时间段,可通过该方式查询,将返回消息列表及对应偏移量,但不包含消息具体内容。按偏移量查询:若已知目标消息所属Topic的分区及具体偏移量,可 - [查询分区指定偏移量的消息 - ShowPartitionMessage](https://support.huaweicloud.com/api-kafka/ShowPartitionMessage.md): 查询分区指定偏移量的消息。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:message - [查询分区指定时间段的消息 - ShowMessages](https://support.huaweicloud.com/api-kafka/ShowMessages.md): 查询分区指定时间段的消息。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:message - [查询分区最早消息的位置 - ShowPartitionBeginningMessage](https://support.huaweicloud.com/api-kafka/ShowPartitionBeginningMessage.md): 查询分区最早消息的位置。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:message: - [查询分区最新消息的位置 - ShowPartitionEndMessage](https://support.huaweicloud.com/api-kafka/ShowPartitionEndMessage.md): 查询分区最新消息的位置。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:message: - [删除Kafka消息 - DeleteKafkaTopicMessages](https://support.huaweicloud.com/api-kafka/DeleteKafkaTopicMessages.md): 删除Kafka消息。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:message:de - [查询实例的后台任务列表 - ListBackgroundTasks](https://support.huaweicloud.com/api-kafka/ListBackgroundTasks.md): 查询实例的后台任务列表。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:instance - [查询后台任务管理中的指定记录 - ShowBackgroundTask](https://support.huaweicloud.com/api-kafka/ShowBackgroundTask.md): 查询后台任务管理中的指定记录。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:insta - [删除后台任务管理中的指定记录 - DeleteBackgroundTask](https://support.huaweicloud.com/api-kafka/DeleteBackgroundTask.md): 删除后台任务管理中的指定记录。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:insta - [查询实例的定时任务列表 - ListScheduledTasks](https://support.huaweicloud.com/api-kafka/ListScheduledTasks.md): 查询实例的定时任务列表。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:instance - [查询后台任务中的指定实例的变更进度 - ShowBackgroundTaskProgress](https://support.huaweicloud.com/api-kafka/ShowBackgroundTaskProgress.md): 查询后台任务中的指定实例的变更进度。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,当前API调用无需身份策略权限。GET /v2/{project_id}/instances - [删除指定的定时任务 - DeleteScheduledTask](https://support.huaweicloud.com/api-kafka/DeleteScheduledTask.md): 删除指定的定时任务。仅当定时任务处于执行成功或已取消状态时,方可执行删除操作。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(* - [修改指定的定时任务 - UpdateScheduledTask](https://support.huaweicloud.com/api-kafka/UpdateScheduledTask.md): 修改指定的定时任务。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:instance:m - [查询日志任务 - ShowKafkaLogTask](https://support.huaweicloud.com/api-kafka/ShowKafkaLogTask.md): 查询日志任务。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,当前API调用无需身份策略权限。GET /v2/{project_id}/kafka/instances/{ins - [开启日志任务 - StartKafkaLogTask](https://support.huaweicloud.com/api-kafka/StartKafkaLogTask.md): 开启日志任务。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,当前API调用无需身份策略权限。POST /v2/{project_id}/kafka/instances/{in - [停止日志任务 - StopKafkaLogTask](https://support.huaweicloud.com/api-kafka/StopKafkaLogTask.md): 停止日志任务。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,当前API调用无需身份策略权限。DELETE /v2/{project_id}/kafka/instances/{ - [批量添加或删除实例标签 - BatchCreateOrDeleteKafkaTag](https://support.huaweicloud.com/api-kafka/BatchCreateOrDeleteKafkaTag.md): 批量添加或删除实例标签。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:instance - [查询实例标签 - ShowKafkaTags](https://support.huaweicloud.com/api-kafka/ShowKafkaTags.md): 查询实例标签。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms::listProjectT - [查询项目标签 - ShowKafkaProjectTags](https://support.huaweicloud.com/api-kafka/ShowKafkaProjectTags.md): 查询项目标签。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms::listProjectT - [消息积压诊断预检查 - ShowDiagnosisPreCheck](https://support.huaweicloud.com/api-kafka/ShowDiagnosisPreCheck.md): 消息积压诊断预检查请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,当前API调用无需身份策略权限。GET /v2/{project_id}/kafka/instances/{i - [创建消息积压诊断任务 - CreateMessageDiagnosisTask](https://support.huaweicloud.com/api-kafka/CreateMessageDiagnosisTask.md): 创建消息积压诊断任务请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:instance:c - [查询消息积压诊断报告列表 - ListMessageDiagnosisReports](https://support.huaweicloud.com/api-kafka/ListMessageDiagnosisReports.md): 查询消息积压诊断报告列表请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:instance - [批量删除消息积压诊断报告 - BatchDeleteMessageDiagnosisReports](https://support.huaweicloud.com/api-kafka/BatchDeleteMessageDiagnosisReports.md): 批量删除消息积压诊断报告请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:instance - [查询诊断报告详情 - ShowMessageDiagnosisReport](https://support.huaweicloud.com/api-kafka/ShowMessageDiagnosisReport.md): 查询诊断报告详情请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:instance:get - [查询维护时间窗时间段 - ShowMaintainWindows](https://support.huaweicloud.com/api-kafka/ShowMaintainWindows.md): 查询维护时间窗开始时间和结束时间。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,当前API调用无需身份策略权限。GET /v2/instances/maintain-wind - [查询可用区信息 - ListAvailableZones](https://support.huaweicloud.com/api-kafka/ListAvailableZones.md): 在创建实例时,需要配置实例所在的可用区ID,可通过该接口查询可用区的ID。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,当前API调用无需身份策略权限。GET /v2/ava - [查询产品规格列表 - ListEngineProducts](https://support.huaweicloud.com/api-kafka/ListEngineProducts.md): 查询产品规格列表。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,当前API调用无需身份策略权限。GET /v2/{engine}/products无状态码:200状态码:20 - [查询实例在CES的监控层级关系 - ShowCesHierarchy](https://support.huaweicloud.com/api-kafka/ShowCesHierarchy.md): 查询实例在CES的监控层级关系。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,需具备如下身份策略权限。授权项访问级别资源类型(*为必须)条件键别名依赖的授权项dms:inst - [查询Kafka产品规格核数 - ShowKafkaProductCores](https://support.huaweicloud.com/api-kafka/ShowKafkaProductCores.md): 查询Kafka产品规格核数。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,当前API调用无需身份策略权限。GET /v2/kafka/products/cores无状态码:2 - [查询特性开关列表 - ListConfigFeatures](https://support.huaweicloud.com/api-kafka/ListConfigFeatures.md): 获取特性开关列表。请参见如何调用API。账号具备所有API的调用权限,如果使用账号下的IAM用户调用当前API,该IAM用户需具备调用API所需的权限。如果使用角色与策略授权,具体权限要求请参见权限和授权项。如果使用身份策略授权,当前API调用无需身份策略权限。GET /v2/config/features无状态码:200状态码:200查 - [权限及授权项说明](https://support.huaweicloud.com/api-kafka/kafka-api-0004.md): 如果您需要对您所拥有的DMS for Kafka进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),如果华为账号已经能满足您的要求,您可以跳过本章节,不影响您使用DMS for Kafka服务的其它功能。通过IAM,您可以通过授权控制主体(IAM用户、用户组、IAM委 - [策略授权参考](https://support.huaweicloud.com/api-kafka/kafka-api-0005.md): 本章节介绍DMS for Kafka策略授权场景下支持的策略授权项。策略包含系统策略和自定义策略,如果系统策略不满足授权要求,管理员可以创建自定义策略,并通过给用户组授予自定义策略来进行精细的访问控制。策略支持的操作与API相对应,授权项列表说明如下:权限:允许或拒绝对指定资源在特定条件下进行某项操作。对应API接口:自定义策略实际调用的 - [身份策略授权参考](https://support.huaweicloud.com/api-kafka/Permission.md): 云服务在IAM预置了常用的权限,称为系统身份策略。如果IAM系统身份策略无法满足授权要求,管理员可以根据各服务支持的授权项,创建IAM自定义身份策略来进行精细的访问控制,IAM自定义身份策略是对系统身份策略的扩展和补充。除IAM服务外,Organizations服务中的服务控制策略(Service Control Policy,以下简称S - [创建Kafka实例](https://support.huaweicloud.com/api-kafka/kafka-api-180514002.md): 当前页面API为历史版本API,未来可能停止维护。请使用创建实例。创建实例,该接口创建的实例为按需计费的方式。POST /v1.0/{project_id}/instances参数说明见表1。请求参数参数说明见表2。响应参数参数说明见表4。响应示例操作成功的状态码如表5所示,其他响应见状态码。 - [查询指定实例](https://support.huaweicloud.com/api-kafka/kafka-api-180514003.md): 当前页面API为历史版本API,未来可能停止维护。请使用查询指定实例。查询指定实例的详细信息。GET /v1.0/{project_id}/instances/{instance_id}参数说明见表1。请求参数无。请求示例响应参数参数说明见表2。响应示例操作成功的状态码如表4所示,其他响应见状态码。 - [修改实例信息](https://support.huaweicloud.com/api-kafka/kafka-api-180514004.md): 当前页面API为历史版本API,未来可能停止维护。请使用修改实例信息。修改实例的信息,包括实例名称、实例描述、实例维护时间窗、安全组等信息。PUT /v1.0/{project_id}/instances/{instance_id}请求参数参数说明见表2。请求示例示例1 :示例2响应参数无。响应样例无。操作成功的状态码如表3所示,其他响应 - [删除指定实例](https://support.huaweicloud.com/api-kafka/kafka-api-180514005.md): 当前页面API为历史版本API,未来可能停止维护。请使用删除指定的实例。删除指定的实例,释放该实例的所有资源。DELETE /v1.0/{project_id}/instances/{instance_id}参数说明见表1。请求参数无。请求示例响应参数无。响应示例无。操作成功的状态码如表2所示,其他响应见状态码。 - [批量重启、删除实例](https://support.huaweicloud.com/api-kafka/kafka-api-180514006.md): 当前页面API为历史版本API,未来可能停止维护。请使用批量重启或删除实例。批量重启或删除实例。在实例重启过程中,客户端的生产与消费消息等请求会被拒绝。实例删除后,实例中原有的数据将被删除,且没有备份,请谨慎操作。POST /v1.0/{project_id}/instances/action参数说明见表1。请求参数参数说明见表2。请求示 - [查询所有实例列表](https://support.huaweicloud.com/api-kafka/kafka-api-180514007.md): 当前页面API为历史版本API,未来可能停止维护。请使用查询所有实例列表。查询租户的实例列表,支持按照条件查询。GET /v1.0/{project_id}/instances?engine={engine}&name={name}&status={status}&id={id}&includeFailure={includeFailur - [Kafka实例创建Topic](https://support.huaweicloud.com/api-kafka/kafka-api-180614001.md): 当前页面API为历史版本API,未来可能停止维护。请使用Kafka实例创建Topic。该接口用于向Kafka实例创建Topic。POST /v1.0/{project_id}/instances/{instance_id}/topics参数说明见表1。请求参数参数说明见表2。请求示例响应参数参数说明见表3。响应示例操作成功的状态码如表4所 - [Kafka实例查询Topic](https://support.huaweicloud.com/api-kafka/kafka-api-180614002.md): 当前页面API为历史版本API,未来可能停止维护。请使用Kafka实例查询Topic。该接口用于查询指定Kafka实例的Topic详情。GET /v1.0/{project_id}/instances/{instance_id}/topics参数说明见表1。请求参数无。请求示例响应参数参数说明见表2。响应示例操作成功的状态码如表4所示,其 - [Kafka实例批量删除Topic](https://support.huaweicloud.com/api-kafka/kafka-api-180614003.md): 当前页面API为历史版本API,未来可能停止维护。请使用Kafka实例批量删除Topic。该接口用于向Kafka实例批量删除Topic。POST /v1.0/{project_id}/instances/{instance_id}/topics/delete参数说明见表1。请求参数参数说明见表2。请求示例响应参数参数说明见表3。响应示例操 - [查询分区指定偏移量的消息](https://support.huaweicloud.com/api-kafka/kafka-api-191209002.md): 当前页面API为历史版本API,未来可能停止维护。GET /v1.0/{project_id}/instance/{instance_id}/manage/topic/{topic_name}/partition/{partition}/offset/{offset}/message参数说明见表1。请求参数无请求示例无。响应参数参数说明见 - [查询分区指定时间段的消息](https://support.huaweicloud.com/api-kafka/kafka-api-191209003.md): 当前页面API为历史版本API,未来可能停止维护。GET /v1.0/{project_id}/instances/{instance_id}/manage/topics/{topic}/messages?partition={partition}&start_time={start_time}&end_time={end_time}& - [查询分区最新消息的位置](https://support.huaweicloud.com/api-kafka/kafka-api-191209004.md): 当前页面API为历史版本API,未来可能停止维护。请使用查询分区最新消息的位置。GET /v1.0/{project_id}/instances/{instance_id}/manage/topics/{topic}/partitions/{partition}/end-message参数说明如下表所示。请求参数无请求示例无响应参数参数 - [查询分区最早消息的位置](https://support.huaweicloud.com/api-kafka/kafka-api-191209005.md): 当前页面API为历史版本API,未来可能停止维护。请使用查询分区最早消息的位置。GET /v1.0/{project_id}/instances/{instance_id}/manage/topics/{topic}/partitions/{partition}/beginning-message参数说明如下表所示。请求参数无请求示例无 - [查询Kafka集群元数据信息](https://support.huaweicloud.com/api-kafka/kafka-api-191209006.md): 当前页面API为历史版本API,未来可能停止维护。请使用查询Kafka集群元数据信息。GET /v1.0/{project_id}/instances/{instance_id}/manage/cluster参数说明如下表所示。请求参数无请求示例无响应参数响应示例 - [查询消费组信息](https://support.huaweicloud.com/api-kafka/kafka-api-191209008.md): 当前页面API为历史版本API,未来可能停止维护。请使用查询消费组信息。GET /v1.0/{project_id}/instances/{instance_id}/manage/groups/{group}参数说明如下表所示。请求参数无请求示例无响应参数参数说明见表2。响应示例 - [重置消费组消费进度到指定位置](https://support.huaweicloud.com/api-kafka/kafka-api-191209007.md): 当前页面API为历史版本API,未来可能停止维护。请使用重置消费组消费进度到指定位置。Kafka实例不支持在线重置消费进度。在执行重置消费进度之前,必须停止被重置消费组客户端。在停止被重置消费组客户端后,需要经过ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG配置的时间(默认10000毫秒),服务端才认为消 - [查询Kafka实例所有消费组对应的协调器信息](https://support.huaweicloud.com/api-kafka/kafka-api-191209010.md): 当前页面API为历史版本API,未来可能停止维护。请使用查询Kafka实例的协调器信息。GET /v1.0/{project_id}/instances/{instance_id}/manage/coordinators参数说明如下表所示。请求参数无请求示例无响应参数参数说明见表2。响应示例查询成功的状态码如表4所示,其他响应见表1。 - [查询Kafka实例Topic详细信息](https://support.huaweicloud.com/api-kafka/kafka-api-191209011.md): 当前页面API为历史版本API,未来可能停止维护。请使用查询Kafka实例Topic详细信息。GET /v1.0/{project_id}/instances/{instance_id}/manage/topics/{topic}参数说明如下表所示。请求参数无请求示例无响应参数参数说明见表2。响应示例查询成功的状态码表5所示,其他响应见 - [新增Kafka实例指定Topic分区](https://support.huaweicloud.com/api-kafka/kafka-api-191209012.md): 当前页面API为历史版本API,未来可能停止维护。请使用新增Kafka实例指定Topic分区。POST /v1.0/{project_id}/instances/{instance_id}/manage/topics/{topic}/partitions-reassignment参数说明如下表所示。请求参数请求示例响应参数无响应示例无操作 - [调整Kafka实例Topic分区的副本](https://support.huaweicloud.com/api-kafka/kafka-api-191209013.md): 当前页面API为历史版本API,未来可能停止维护。请使用Kafka实例开始分区平衡任务。POST /v1.0/{project_id}/instances/{instance_id}/manage/topics/{topic}/replicas-reassignment参数说明如下表所示。请求参数请求示例响应参数无响应示例无操作成功的状 - [查询可用区信息](https://support.huaweicloud.com/api-kafka/kafka-api-180514008.md): 当前页面API为历史版本API,未来可能停止维护。请使用查询可用区信息。在创建实例时,需要配置实例所在的可用区ID,可通过该接口查询可用区的ID。GET /v1.0/availableZones请求参数无。请求示例响应参数参数说明见表1、表2。响应示例操作成功的状态码如表3所示,其他响应见状态码。 - [查询产品规格列表](https://support.huaweicloud.com/api-kafka/kafka-api-180514009.md): 当前页面API为历史版本API,未来可能停止维护。请使用查询产品规格列表。在创建kafka实例时,需要配置订购的产品ID(即product_id),可通过该接口查询产品规格。例如,要订购按需计费、基准带宽为100MB的kafka实例,可从接口响应消息中,查找Hourly的消息体,然后找到bandwidth为100MB的记录对应的produ - [查询维护时间窗时间段](https://support.huaweicloud.com/api-kafka/kafka-api-180514010.md): 当前页面API为历史版本API,未来可能停止维护。请使用查询维护时间窗时间段。查询维护时间窗开始时间和结束时间。GET /v1.0/instances/maintain-windows请求参数无。请求示例响应参数参数说明见表表1、表2响应示例操作成功的状态码如表3所示,其他响应见状态码。 - [查询实例在CES的监控层级关系(URI包含dms)](https://support.huaweicloud.com/api-kafka/kafka-api-191209009.md): 当前页面API为历史版本API,未来可能停止维护。请使用查询实例在CES的监控层级关系。GET /v1.0/dms/{project_id}/instances/{instance_id}/ceshierarchy参数说明见表1。请求参数无请求示例无响应参数参数说明见表2。响应示例查询成功的状态码如表11所示,其他响应见表1。 - [查询实例在CES的监控层级关系(URI不包含dms)](https://support.huaweicloud.com/api-kafka/ShowCesHierarchyV1.md): 查询实例在CES的监控层级关系。当前页面API为历史版本API,未来可能停止维护。请使用查询实例在CES的监控层级关系。请参见如何调用API。GET /v1.0/{project_id}/instances/{instance_id}/ceshierarchy无状态码: 200状态码: 200查询成功。请参见错误码。 - [查询配额](https://support.huaweicloud.com/api-kafka/ShowQuotasV1.md): 查询配额详情。当前页面API为历史版本API,未来可能停止维护。请参见如何调用API。GET /v1.0/{project_id}/quotas/dms无状态码: 200状态码: 200查询成功。请参见错误码。 - [创建实例(新规格)](https://support.huaweicloud.com/api-kafka/CreateInstanceByEngine.md): 创建实例。当前页面API为历史版本API,未来可能停止维护。请使用创建实例。POST /v2/{engine}/{project_id}/instances状态码: 200创建一个按需付费的Kafka实例,版本为2.7,规格为2U4G*3,300GB的存储空间。状态码: 200创建实例成功。请参见错误码。 - [查询指定实例](https://support.huaweicloud.com/api-kafka/ShowInstanceWithEngine.md): 查询指定实例的详细信息。当前页面API为历史版本API,未来可能停止维护。请使用查询指定实例。请参见如何调用API。GET /v2/{engine}/{project_id}/instances/{instance_id}无状态码: 200查询指定实例。状态码: 200查询指定实例成功。请参见错误码。 - [新增Kafka实例指定Topic分区](https://support.huaweicloud.com/api-kafka/CreatePartition.md): 新增Kafka实例指定Topic分区。当前页面API为历史版本API,未来可能停止维护。请使用修改Kafka实例Topic。POST /v2/{project_id}/instances/{instance_id}/management/topics/{topic}/partitions-reassignment无增加Topic分区数。无 - [Kafka实例开始分区平衡任务](https://support.huaweicloud.com/api-kafka/CreateReassignmentTask-old.md): 该接口用于向Kafka实例提交分区平衡任务或计算分区平衡预估时间。当前页面API为历史版本API,未来可能停止维护。请使用Kafka实例开始分区平衡任务。POST /v2/kafka/{project_id}/instances/{instance_id}/reassign状态码: 200状态码: 200提交分区平衡任务成功(若为预估时间 - [重置消费组消费进度到指定位置](https://support.huaweicloud.com/api-kafka/ResetMessageOffset.md): Kafka实例不支持在线重置消费进度。在执行重置消费进度之前,必须停止被重置消费组客户端。停止待重置消费组客户端,然后等待一段时间(即ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG配置的时间,默认为1000毫秒)后,服务端才认为此消费组客户端已下线。当前页面API为历史版本API,未来可能停止维护。请使用 - [查询所有消费组](https://support.huaweicloud.com/api-kafka/ListInstanceGroups.md): 查询所有消费组。请参见如何调用API。GET /v2/{engine}/{project_id}/instances/{instance_id}/groups无状态码: 200状态码: 200查询实例集群的所有消费组成功。请参见错误码。 - [Kafka删除消息](https://support.huaweicloud.com/api-kafka/DeleteKafkaMessage.md): Kafka删除消息。当前页面API为历史版本API,未来可能停止维护。请使用删除Kafka消息。DELETE /v2/{project_id}/kafka/instances/{instance_id}/topics/{topic}/messages状态码:200状态码:200删除消息成功。请参见错误码。 - [修改转储任务的配额](https://support.huaweicloud.com/api-kafka/UpdateSinkTaskQuota.md): 修改转储任务的配额。2022年9月前创建的实例支持调用此接口新增转储任务配额,2022年9月及以后创建的实例,转储任务配额默认为最大值,由于转储任务配额不支持减少,调用此接口修改转储任务配额会报错。请参见如何调用API。PUT /v2/{project_id}/connectors/{connector_id}/sink-tasks无修改 - [创建关闭实例转储节点的订单](https://support.huaweicloud.com/api-kafka/CreateDeleteConnectorOrder.md): 创建关闭实例转储节点的订单。当前页面API为历史版本API,未来可能停止维护。请使用关闭Smart Connect(按需实例)。请参见如何调用API。POST /v2/{project_id}/kafka/instances/{instance_id}/delete-connector-order状态码: 200状态码: 200创建关闭实 - [创建转储任务](https://support.huaweicloud.com/api-kafka/CreateSinkTask.md): 创建转储任务。当前页面API为历史版本API,未来可能停止维护。请使用开启Smart Connect(按需实例)。请参见如何调用API。POST /v2/{project_id}/connectors/{connector_id}/sink-tasks状态码: 200创建一个转储任务,转储topic-test中的数据到OBS。状态码: 2 - [查询转储任务列表](https://support.huaweicloud.com/api-kafka/ListSinkTasks.md): 查询转储任务列表。当前页面API为历史版本API,未来可能停止维护。请使用查询Smart Connect任务列表。请参见如何调用API。GET /v2/{project_id}/connectors/{connector_id}/sink-tasks无状态码: 200查询转储任务列表。状态码: 200查询转储任务列表成功。请参见错误码。 - [查询单个转储任务](https://support.huaweicloud.com/api-kafka/ShowSinkTaskDetail.md): 查询单个转储任务。当前页面API为历史版本API,未来可能停止维护。请使用查询Smart Connector任务详情。请参见如何调用API。GET /v2/{project_id}/connectors/{connector_id}/sink-tasks/{task_id}无状态码: 200查询指定的转储任务详情。状态码: 200查询单个 - [删除单个转储任务](https://support.huaweicloud.com/api-kafka/DeleteSinkTask.md): 删除单个转储任务。当前页面API为历史版本API,未来可能停止维护。请使用删除Smart Connector任务。请参见如何调用API。DELETE /v2/{project_id}/connectors/{connector_id}/sink-tasks/{task_id}无无删除指定的转储任务。无请参见错误码。 - [查询实例的扩容规格列表(新规格)](https://support.huaweicloud.com/api-kafka/ShowEngineInstanceExtendProductInfo.md): 查询实例的扩容规格列表。当前页面API为历史版本API,未来可能停止维护。请使用查询实例的扩容规格列表。GET /v2/{engine}/{project_id}/instances/{instance_id}/extend无状态码: 200查询实例的扩容规格列表。状态码: 200查询实例的扩容规格列表成功。请参见错误码。 - [实例扩容(新规格)](https://support.huaweicloud.com/api-kafka/ResizeEngineInstance.md): 实例规格变更。当前页面API为历史版本API,未来可能停止维护。请使用实例扩容。POST /v2/{engine}/{project_id}/instances/{instance_id}/extend状态码: 200扩容存储空间(按需实例)。POST https://{endpoint}/v2/{engine}/{project_id} - [查询Kafka实例Topic详细信息](https://support.huaweicloud.com/api-kafka/ShowInstanceTopicDetail.md): 查询Kafka实例Topic详细信息(单个实例调用不要超过1s一次)。当前页面API为历史版本API,未来可能停止维护。请使用获取Kafka Topic详细信息。GET /v2/{project_id}/instances/{instance_id}/management/topics/{topic}无状态码:200查询指定Topic的详 - [查询产品规格列表](https://support.huaweicloud.com/api-kafka/ListProducts_old.md): 在创建Kafka实例时,需要配置订购的产品ID(即product_id),可通过该接口查询产品规格。例如,要订购按需计费、基准带宽为100MB的Kafka实例,可从接口响应消息中,查找Hourly的消息体,然后找到bandwidth为100MB的记录对应的product_id,该product_id的值即是创建上述Kafka实例时需要配置 - [状态码](https://support.huaweicloud.com/api-kafka/kafka-api-0034672261.md): 状态码如表1所示 - [错误码](https://support.huaweicloud.com/api-kafka/ErrorCode.md): 当您调用API时,如果遇到“APIGW”开头的错误码,请参见API网关错误码进行处理。更多服务错误码请参见API错误中心。 - [实例状态说明](https://support.huaweicloud.com/api-kafka/kafka-api-180514012.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 - [获取项目ID](https://support.huaweicloud.com/api-kafka/kafka-api-0036212547.md): 在调用接口的时候,部分URL中需要填入项目ID,所以需要获取到项目ID。有如下两种获取方式:调用API获取项目ID从控制台获取项目ID项目ID可以通过调用查询指定条件下的项目信息API获取。获取项目ID的接口为“GET https://{Endpoint}/v3/projects”,其中{Endpoint}为IAM的终端节点,可以从地区和 - [获取账号名和账号ID](https://support.huaweicloud.com/api-kafka/kafka-api-190128001.md): 在调用接口的时候,部分URL中需要填入账号名和账号ID,所以需要先在管理控制台上获取到账号名和账号ID。账号名和账号ID获取步骤如下:登录Kafka控制台。鼠标悬停在右上角的用户名,选择下拉列表中的“我的凭证”。查看账号名和账号ID。查看账号名和账号ID查看账号名和账号ID。 - [修订记录](https://support.huaweicloud.com/api-kafka/kafka-api-0034672268.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 ## SDK参考 - [SDK概述](https://support.huaweicloud.com/sdkreference-kafka/kafka-sdk-001.md): 本文介绍了分布式消息服务Kafka版提供的SDK语言版本,列举了最新版本SDK的获取地址。API Explorer能根据需要动态生成SDK代码功能,降低您使用SDK的难度,推荐使用。在开始使用之前,请确保您安装的是最新版本的SDK。使用过时的版本可能会导致兼容性问题或无法使用最新功能。您可以在SDK中心查询版本信息。表1提供了分布式消息服 ## CLI参考 - [如何使用CLI](https://support.huaweicloud.com/clir-kafka/kafka-cli-001.md): 华为云命令行工具服务(Koo Command Line Interface,KooCLI,原名HCloud CLI)是为发布在API Explorer上的云服务API提供的命令行管理工具。您可以通过此工具调用API Explorer中Kafka开放的API,管理和使用您的Kafka资源。关于KooCLI的详细信息,请参见什么是KooCLI - [CLI命令参考](https://support.huaweicloud.com/clir-kafka/Kafka-cli.md): 华为云帮助中心,为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档,帮助您快速上手使用华为云服务。 ## 常见问题 - [为什么可用区不能选择2个?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426002.md): 如果您需要提高Kafka实例的可靠性,在创建实例时,建议选择3个或以上的可用区,不支持选择2个可用区。原因如下:每个Kafka实例包含3个Zookeeper节点,Zookeeper集群用来管理Kafka实例的配置,如果Zookeeper集群出现问题,Kafka实例将无法正常运行。至少2个Zookeeper节点正常运行,才能保证Zookee - [创建实例时为什么无法查看子网和安全组等信息?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426003.md): 创建实例时,如果无法查看虚拟私有云、子网、安全组、弹性IP,可能原因是该用户的用户组无Server Administrator和VPC Administrator权限。增加用户组权限的详细步骤,请参考修改用户组权限。 - [如何选择Kafka实例的存储空间?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426005.md): 存储空间主要是指用于存储消息(包括副本中的消息)、日志和元数据所需要的空间。选择存储空间时,需要选择磁盘类型和磁盘大小。更多磁盘信息,请参考如何选择磁盘类型。假设业务存储数据保留天数内磁盘大小为100GB,则磁盘容量最少为100GB*副本数 + 预留磁盘大小100GB。Kafka集群中,每个Kafka节点会使用33GB的磁盘作为日志和Zo - [Kafka实例的超高IO和高IO如何选择?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426006.md): 高IO:平均时延1-3ms,最大带宽150MB/s(读+写)。超高IO:平均时延1ms,最大带宽350MB/s(读+写)。建议选择超高IO,云硬盘服务端压力大场景,都不能达到最大带宽,但是超高IO可达到的带宽比高IO高很多。 - [如何选择Kafka实例存储容量阈值策略?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426007.md): 支持以下两种策略:生产受限策略该策略场景下一旦磁盘使用达到容量阈值95%,会导致后续生产失败,但保留了当前磁盘中的数据,直至数据自然老化(Kafka原有的老化机制,数据默认保留3天)。该场景适用于对数据不能丢的业务场景,但是会导致生产业务失败。该策略场景下一旦磁盘使用达到容量阈值95%,会导致后续生产失败,但保留了当前磁盘中的数据,直至数 - [Kafka服务端支持版本是多少?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426008.md): Kafka 1.1.0、2.7、3.x版本。如果您想要创建Kafka实例,具体步骤请参考购买Kafka实例。 - [Kafka实例的ZK地址是什么?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426009.md): Kafka实例依赖ZK进行管理,开放ZK可能引发误操作导致业务受损,ZK仅Kafka内部使用,不对外提供服务。您可使用Kafka开源客户端连接Kafka实例,调用原生API生产与消费消息。 - [创建的Kafka实例是集群模式么?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426010.md): Kafka实例分为单机实例和集群实例,单机实例只有一个代理,是单机模式。集群实例由3个及以上代理组成,是集群模式。 - [Kafka实例是否支持修改访问端口?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426011.md): Kafka实例的访问端口固定,不支持修改。如果是访问未开启SASL的Kafka实例支持的访问方式如下:同一VPC内访问、公网访问、跨VPC访问和DNAT访问。同一VPC内使用IPv4地址访问,访问端口为9092。同一VPC内使用IPv6地址访问,访问端口为9192。公网访问,访问端口为9094。使用VPCEP跨VPC访问,访问端口为901 - [Kafka实例的SSL证书有效期多长?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426012.md): Kafka实例开启SASL_SSL时,需进行单向认证,证书有效期足够长(超过15年),客户端不需要关注证书过期风险。查看SSL证书有效期的方法如下: - [如何将Kafka实例中的数据同步到另一个Kafka实例中?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426013.md): Kafka实例支持创建Kafka数据复制类型的Smart Connect任务时,首先开启Smart Connect,然后创建Kafka数据复制类型的Smart Connect任务,实现两个Kafka实例数据的同步,具体步骤请参考配置Kafka间的数据复制。Kafka实例不支持创建Kafka数据复制类型的Smart Connect任务时,如 - [Kafka实例的SASL_SSL开关如何修改?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426014.md): 集群实例的SASL_SSL开关支持修改,具体步骤请参考修改实例的接入方式。单机实例不支持SASL_SSL功能。开启IPv6的实例不支持动态修改SASL_SSL开关。 - [SASL认证机制如何修改?](https://support.huaweicloud.com/kafka_faq/kafka_faq_0052.md): Kafka实例的SASL认证机制包括SCRAM-SHA-512和PLAIN。密文接入成功开启后,不支持修改SASL认证机制。如果需要修改,请重新创建实例。 - [如何修改安全协议?](https://support.huaweicloud.com/kafka_faq/kafka_faq_0062.md): Kafka实例的安全协议包括SASL_SSL和SASL_PLAINTEXT。未开启IPv6的实例,安全协议支持在控制台修改。先在Kafka实例的详情页的“连接信息”区域,关闭密文接入,然后再开启密文接入,此时可以重新设置安全协议。已开启IPv6的实例,实例创建后,不支持修改安全协议。 - [修改企业项目,是否会导致Kafka重启?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0008.md): 修改企业项目不会导致Kafka重启。 - [100MB/s的带宽怎样开启公网访问?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0011.md): 100MB/s带宽的实例存在两种不同规格的底层资源,一种支持开启公网访问,另一种不支持,具体以控制台为准。100MB/s的带宽不支持开启公网访问的原因为底层ECS资源规格的限制,此种情况下,通过扩容Kafka实例的带宽无法解决此问题,因为扩容带宽是通过扩容节点实现的,扩容的节点规格和扩容前的节点相同,此时底层ECS资源规格依然不支持开启公 - [Kafka服务和ZK是部署在相同的虚拟机中,还是分开部署?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0015.md): Kafka服务和ZK部署在相同的虚拟机中。 - [Kafka包周期实例支持删除吗?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0017.md): 可以删除。登录Kafka控制台,在包周期实例所在行,单击“更多 > 退订”,完成实例的删除。 - [Kafka支持哪些加密套件?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0020.md): 由于安全问题,2021年3月20日前以及当天创建的实例,支持的加密套件为TLS_ECDHE_ECDSA_WITH_AES_128_CBC_SHA256,TLS_ECDHE_RSA_WITH_AES_128_CBC_SHA256和TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256。2021年3月20日后创建的实例,支 - [购买实例时选择的单AZ,怎样可以扩展为多AZ?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0023.md): 已购买的实例无法扩展AZ,请重新购买多AZ的实例。 - [Kafka是否支持跨AZ容灾?已经购买的实例在哪里查看是否为跨AZ?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0025.md): Kafka实例支持跨AZ容灾,在购买实例时,选择多个可用区即可实现跨AZ容灾。已购买的实例,在Kafka控制台“概览”页面的“可用区”区域,查看可用区数量。多于一个可用区时,表示已实现跨AZ容灾。 - [Kafka支持磁盘加密吗?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0030.md): Kafka实例不支持磁盘加密。 - [Kafka实例创建后,能修改VPC和子网吗?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0036.md): 不能修改VPC和子网。 - [有没有Kafka Stream的案例?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0037.md): Kafka Stream的案例请参见Kafka Stream的官网。 - [Kafka实例版本可以升级吗?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0040.md): Kafka实例创建成功后,实例版本不支持升级。您可以重新创建Kafka实例,实现升级Kafka实例的版本。 - [怎样重新绑定公网IP?](https://support.huaweicloud.com/kafka_faq/kafka_faq_0046.md): 首先在分布式消息服务Kafka版控制台,单击Kafka实例名称,进入实例详情页。在“概览”页面的“连接信息”区域,关闭“公网访问”,然后重新打开“公网访问”,并选择需要绑定的公网IP地址。 - [配置了“自动删除”策略,磁盘容量到达95%时,为什么没有自动删除最早的消息?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0070.md): Kafka实例每个代理(即broker)的存储空间为100GB,配置了“自动删除”策略,并创建了一个180分区的Topic,磁盘容量到达95%时,没有自动删除最早的消息。Kafka实例每个代理会使用33GB的磁盘作为日志和Zookeeper数据的存储,且创建实例时磁盘格式化会占用部分磁盘空间,因此实际数据存储空间大约为66GB。Topic - [为什么开启日志或公网访问功能失败?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0074.md): 开启Topic日志、重平衡日志或公网访问失败,报错信息:没有执行此操作的权限、认证失败或权限不足。首次开启Topic日志、重平衡日志或公网访问时,Kafka服务将自动为您创建一个名为“ServiceLinkedAgencyForDMS”的云服务委托。该委托会向Kafka服务授予云日志服务、弹性公网IP和虚拟私有云等云服务的操作权限,使其能 - [为什么可用区不能选择2个?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426002.md): 如果您需要提高Kafka实例的可靠性,在创建实例时,建议选择3个或以上的可用区,不支持选择2个可用区。原因如下:每个Kafka实例包含3个Zookeeper节点,Zookeeper集群用来管理Kafka实例的配置,如果Zookeeper集群出现问题,Kafka实例将无法正常运行。至少2个Zookeeper节点正常运行,才能保证Zookee - [创建实例时为什么无法查看子网和安全组等信息?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426003.md): 创建实例时,如果无法查看虚拟私有云、子网、安全组、弹性IP,可能原因是该用户的用户组无Server Administrator和VPC Administrator权限。增加用户组权限的详细步骤,请参考修改用户组权限。 - [如何选择Kafka实例的存储空间?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426005.md): 存储空间主要是指用于存储消息(包括副本中的消息)、日志和元数据所需要的空间。选择存储空间时,需要选择磁盘类型和磁盘大小。更多磁盘信息,请参考如何选择磁盘类型。假设业务存储数据保留天数内磁盘大小为100GB,则磁盘容量最少为100GB*副本数 + 预留磁盘大小100GB。Kafka集群中,每个Kafka节点会使用33GB的磁盘作为日志和Zo - [Kafka实例的超高IO和高IO如何选择?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426006.md): 高IO:平均时延1-3ms,最大带宽150MB/s(读+写)。超高IO:平均时延1ms,最大带宽350MB/s(读+写)。建议选择超高IO,云硬盘服务端压力大场景,都不能达到最大带宽,但是超高IO可达到的带宽比高IO高很多。 - [如何选择Kafka实例存储容量阈值策略?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426007.md): 支持以下两种策略:生产受限策略该策略场景下一旦磁盘使用达到容量阈值95%,会导致后续生产失败,但保留了当前磁盘中的数据,直至数据自然老化(Kafka原有的老化机制,数据默认保留3天)。该场景适用于对数据不能丢的业务场景,但是会导致生产业务失败。该策略场景下一旦磁盘使用达到容量阈值95%,会导致后续生产失败,但保留了当前磁盘中的数据,直至数 - [Kafka服务端支持版本是多少?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426008.md): Kafka 1.1.0、2.7、3.x版本。如果您想要创建Kafka实例,具体步骤请参考购买Kafka实例。 - [Kafka实例的ZK地址是什么?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426009.md): Kafka实例依赖ZK进行管理,开放ZK可能引发误操作导致业务受损,ZK仅Kafka内部使用,不对外提供服务。您可使用Kafka开源客户端连接Kafka实例,调用原生API生产与消费消息。 - [创建的Kafka实例是集群模式么?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426010.md): Kafka实例分为单机实例和集群实例,单机实例只有一个代理,是单机模式。集群实例由3个及以上代理组成,是集群模式。 - [Kafka实例是否支持修改访问端口?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426011.md): Kafka实例的访问端口固定,不支持修改。如果是访问未开启SASL的Kafka实例支持的访问方式如下:同一VPC内访问、公网访问、跨VPC访问和DNAT访问。同一VPC内使用IPv4地址访问,访问端口为9092。同一VPC内使用IPv6地址访问,访问端口为9192。公网访问,访问端口为9094。使用VPCEP跨VPC访问,访问端口为901 - [Kafka实例的SSL证书有效期多长?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426012.md): Kafka实例开启SASL_SSL时,需进行单向认证,证书有效期足够长(超过15年),客户端不需要关注证书过期风险。查看SSL证书有效期的方法如下: - [如何将Kafka实例中的数据同步到另一个Kafka实例中?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426013.md): Kafka实例支持创建Kafka数据复制类型的Smart Connect任务时,首先开启Smart Connect,然后创建Kafka数据复制类型的Smart Connect任务,实现两个Kafka实例数据的同步,具体步骤请参考配置Kafka间的数据复制。Kafka实例不支持创建Kafka数据复制类型的Smart Connect任务时,如 - [Kafka实例的SASL_SSL开关如何修改?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426014.md): 集群实例的SASL_SSL开关支持修改,具体步骤请参考修改实例的接入方式。单机实例不支持SASL_SSL功能。开启IPv6的实例不支持动态修改SASL_SSL开关。 - [SASL认证机制如何修改?](https://support.huaweicloud.com/kafka_faq/kafka_faq_0052.md): Kafka实例的SASL认证机制包括SCRAM-SHA-512和PLAIN。密文接入成功开启后,不支持修改SASL认证机制。如果需要修改,请重新创建实例。 - [如何修改安全协议?](https://support.huaweicloud.com/kafka_faq/kafka_faq_0062.md): Kafka实例的安全协议包括SASL_SSL和SASL_PLAINTEXT。未开启IPv6的实例,安全协议支持在控制台修改。先在Kafka实例的详情页的“连接信息”区域,关闭密文接入,然后再开启密文接入,此时可以重新设置安全协议。已开启IPv6的实例,实例创建后,不支持修改安全协议。 - [修改企业项目,是否会导致Kafka重启?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0008.md): 修改企业项目不会导致Kafka重启。 - [100MB/s的带宽怎样开启公网访问?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0011.md): 100MB/s带宽的实例存在两种不同规格的底层资源,一种支持开启公网访问,另一种不支持,具体以控制台为准。100MB/s的带宽不支持开启公网访问的原因为底层ECS资源规格的限制,此种情况下,通过扩容Kafka实例的带宽无法解决此问题,因为扩容带宽是通过扩容节点实现的,扩容的节点规格和扩容前的节点相同,此时底层ECS资源规格依然不支持开启公 - [Kafka服务和ZK是部署在相同的虚拟机中,还是分开部署?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0015.md): Kafka服务和ZK部署在相同的虚拟机中。 - [Kafka包周期实例支持删除吗?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0017.md): 可以删除。登录Kafka控制台,在包周期实例所在行,单击“更多 > 退订”,完成实例的删除。 - [Kafka支持哪些加密套件?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0020.md): 由于安全问题,2021年3月20日前以及当天创建的实例,支持的加密套件为TLS_ECDHE_ECDSA_WITH_AES_128_CBC_SHA256,TLS_ECDHE_RSA_WITH_AES_128_CBC_SHA256和TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256。2021年3月20日后创建的实例,支 - [购买实例时选择的单AZ,怎样可以扩展为多AZ?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0023.md): 已购买的实例无法扩展AZ,请重新购买多AZ的实例。 - [Kafka是否支持跨AZ容灾?已经购买的实例在哪里查看是否为跨AZ?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0025.md): Kafka实例支持跨AZ容灾,在购买实例时,选择多个可用区即可实现跨AZ容灾。已购买的实例,在Kafka控制台“概览”页面的“可用区”区域,查看可用区数量。多于一个可用区时,表示已实现跨AZ容灾。 - [Kafka支持磁盘加密吗?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0030.md): Kafka实例不支持磁盘加密。 - [Kafka实例创建后,能修改VPC和子网吗?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0036.md): 不能修改VPC和子网。 - [有没有Kafka Stream的案例?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0037.md): Kafka Stream的案例请参见Kafka Stream的官网。 - [Kafka实例版本可以升级吗?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0040.md): Kafka实例创建成功后,实例版本不支持升级。您可以重新创建Kafka实例,实现升级Kafka实例的版本。 - [怎样重新绑定公网IP?](https://support.huaweicloud.com/kafka_faq/kafka_faq_0046.md): 首先在分布式消息服务Kafka版控制台,单击Kafka实例名称,进入实例详情页。在“概览”页面的“连接信息”区域,关闭“公网访问”,然后重新打开“公网访问”,并选择需要绑定的公网IP地址。 - [配置了“自动删除”策略,磁盘容量到达95%时,为什么没有自动删除最早的消息?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0070.md): Kafka实例每个代理(即broker)的存储空间为100GB,配置了“自动删除”策略,并创建了一个180分区的Topic,磁盘容量到达95%时,没有自动删除最早的消息。Kafka实例每个代理会使用33GB的磁盘作为日志和Zookeeper数据的存储,且创建实例时磁盘格式化会占用部分磁盘空间,因此实际数据存储空间大约为66GB。Topic - [为什么开启日志或公网访问功能失败?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0074.md): 开启Topic日志、重平衡日志或公网访问失败,报错信息:没有执行此操作的权限、认证失败或权限不足。首次开启Topic日志、重平衡日志或公网访问时,Kafka服务将自动为您创建一个名为“ServiceLinkedAgencyForDMS”的云服务委托。该委托会向Kafka服务授予云日志服务、弹性公网IP和虚拟私有云等云服务的操作权限,使其能 - [Kafka扩容/缩容会影响业务吗?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0035.md): 扩容/缩容Kafka实例的影响如表1所示。 - [扩容过程中涉及数据迁移吗?](https://support.huaweicloud.com/kafka_faq/kafka_faq_0054.md): 扩容过程中不会迁移数据。 - [扩容/缩容过程中生产消息失败](https://support.huaweicloud.com/kafka_faq/kafka_faq_0056.md): 可能原因:在扩容/缩容代理规格的过程中,代理采用滚动重启的方式进行实例变更。在重启过程中,分区Leader会进行切换,此时生产客户端的元数据缓存中保存的分区Leader为旧分区Leader ID,仍然会向旧分区Leader发送消息,导致生产消息失败。解决方法:在生产客户端配置重试机制。建议设置retries=10,retry.backof - [扩容失败提示资源不足](https://support.huaweicloud.com/kafka_faq/kafka_faq_0057.md): 问题现象:扩容失败,提示底层ECS/EVS资源不足,但在ECS控制台可以购买对应规格的ECS。可能原因:底层资源配额与控制台界面显示的可用规格配额存在差异。解决方法:联系客服增加配额数。 - [Kafka扩容/缩容会影响业务吗?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0035.md): 扩容/缩容Kafka实例的影响如表1所示。 - [扩容过程中涉及数据迁移吗?](https://support.huaweicloud.com/kafka_faq/kafka_faq_0054.md): 扩容过程中不会迁移数据。 - [扩容/缩容过程中生产消息失败](https://support.huaweicloud.com/kafka_faq/kafka_faq_0056.md): 可能原因:在扩容/缩容代理规格的过程中,代理采用滚动重启的方式进行实例变更。在重启过程中,分区Leader会进行切换,此时生产客户端的元数据缓存中保存的分区Leader为旧分区Leader ID,仍然会向旧分区Leader发送消息,导致生产消息失败。解决方法:在生产客户端配置重试机制。建议设置retries=10,retry.backof - [扩容失败提示资源不足](https://support.huaweicloud.com/kafka_faq/kafka_faq_0057.md): 问题现象:扩容失败,提示底层ECS/EVS资源不足,但在ECS控制台可以购买对应规格的ECS。可能原因:底层资源配额与控制台界面显示的可用规格配额存在差异。解决方法:联系客服增加配额数。 - [选择和配置安全组](https://support.huaweicloud.com/kafka_faq/kafka-faq-180604024.md): Kafka实例支持使用内网通过同一个VPC访问、跨VPC访问、通过DNAT访问和公网访问,访问实例前,需要配置安全组。是,如果保留了创建安全组后,系统默认添加的入方向“允许安全组内的弹性云服务器彼此通信”规则和出方向“放通全部流量”规则,则无需添加其他规则。否则,请添加表1所示规则。安全组规则方向协议类型端口源地址说明入方向TCPIPv4 - [Kafka实例是否支持公网访问?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426015.md): Kafka实例支持公网访问。使用公网访问Kafka实例的具体操作,请参考连接实例。 - [Kafka实例的连接地址默认有多少个?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426016.md): Kafka实例的连接地址个数和实例的代理个数有关,连接地址个数即为代理个数。每类实例规格对应的代理个数如下表所示。 - [是否支持跨Region访问?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426017.md): Kafka可以跨Region访问,但是跨Region目前只能通过公网访问或者拉专线的方式。 - [Kafka实例是否支持跨VPC访问?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426019.md): Kafka实例支持跨VPC访问,您可以通过以下任意一个方式实现跨VPC访问:创建VPC对等连接,将两个VPC的网络打通,实现跨VPC访问。具体步骤请参考对等连接。利用VPC终端节点在不同VPC间建立跨VPC的连接通道,实现Kafka客户端通过内网访问Kafka实例。具体步骤请参考使用VPCEP实现跨VPC访问Kafka。 - [Kafka实例是否支持不同的子网?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426020.md): 支持。客户端与实例在相同VPC内,可以跨子网段访问。同一个VPC内的子网默认可以进行通信。 - [Kafka是否支持Kerberos认证,如何开启认证?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426023.md): Kafka支持SASL客户端认证、调用接口支持Token和AK/SK两种认证,Kerberos认证目前不支持。如果使用SASL认证方式,则在开源客户端基础上使用分布式消息服务Kafka版提供的证书文件。具体操作参考使用客户端连接Kafka(开启SASL)。 - [Kafka实例是否支持无密码访问?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200708002.md): 支持,连接明文接入的Kafka实例时,无需密码。具体操作,请参考使用客户端连接Kafka(关闭SASL)。 - [开启公网访问后,在哪查看公网IP地址?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0001.md): 在Kafka控制台,单击Kafka实例名称,进入实例详情页面。在“概览”页签,查看公网IP地址(即“公网连接地址”)。如果您需要连接Kafka实例,请参考连接Kafka。 - [Kafka支持服务端认证客户端吗?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0026.md): 不支持。 - [连接开启SASL_SSL的Kafka实例时,ssl truststore文件可以用PEM格式的吗?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0027.md): 可以使用PEM格式。使用PEM格式SSL证书连接Kafka实例的方法请参考获取和使用Kafka PEM格式的SSL证书。 - [下载的证书JKS和CRT有什么区别?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0028.md): 使用Java语言连接实例时,需要用JKS格式的证书。使用Python语言连接实例时,需要用CRT格式的证书。 - [Kafka支持哪个版本的TLS?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0029.md): Kafka支持TLS 1.2。 - [Kafka实例连接数有限制吗?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0033.md): 不同规格的Kafka实例,连接数限制如下: - [客户端单IP连接的个数为多少?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0034.md): 2020年7月以及之后购买的实例,Kafka实例的每个代理允许客户端单IP连接的个数默认为1000个,在此之前购买的实例,Kafka实例的每个代理允许客户端单IP连接的个数默认为200个,如果超过了,会出现连接失败问题。您可以通过修改配置参数来修改单IP的连接数。 - [Kafka实例的内网连接地址可以修改吗?](https://support.huaweicloud.com/kafka_faq/kafka_faq_0048.md): 在实例创建后,内网连接地址不支持修改。您可以在创建实例或扩容代理数量时,指定内网连接地址。 - [不同实例中,使用的SSL证书是否一样?](https://support.huaweicloud.com/kafka_faq/kafka_faq_0051.md): Kafka实例中的SSL证书是通用的,不区分用户或者实例,即不同的用户或者实例,使用的SSL证书是同一个。获取SSL证书的方法如下: - [为什么不建议使用Sarama客户端收发消息?](https://support.huaweicloud.com/kafka_faq/kafka_faq_0061.md): 使用Sarama客户端收发消息可能存在以下问题:Sarama客户端无法感知分区变化,当Topic分区数增加时,需要重启客户端后才能正常消费。Sarama客户端消息最大处理时间(MaxProcessingTime)默认值为100ms,超过最大处理时间可能导致消费者无法消费。当消费位点重置策略设置为Oldest(earliest)时,当客户端 - [选择和配置安全组](https://support.huaweicloud.com/kafka_faq/kafka-faq-180604024.md): Kafka实例支持使用内网通过同一个VPC访问、跨VPC访问、通过DNAT访问和公网访问,访问实例前,需要配置安全组。是,如果保留了创建安全组后,系统默认添加的入方向“允许安全组内的弹性云服务器彼此通信”规则和出方向“放通全部流量”规则,则无需添加其他规则。否则,请添加表1所示规则。安全组规则方向协议类型端口源地址说明入方向TCPIPv4 - [Kafka实例是否支持公网访问?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426015.md): Kafka实例支持公网访问。使用公网访问Kafka实例的具体操作,请参考连接实例。 - [Kafka实例的连接地址默认有多少个?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426016.md): Kafka实例的连接地址个数和实例的代理个数有关,连接地址个数即为代理个数。每类实例规格对应的代理个数如下表所示。 - [是否支持跨Region访问?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426017.md): Kafka可以跨Region访问,但是跨Region目前只能通过公网访问或者拉专线的方式。 - [Kafka实例是否支持跨VPC访问?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426019.md): Kafka实例支持跨VPC访问,您可以通过以下任意一个方式实现跨VPC访问:创建VPC对等连接,将两个VPC的网络打通,实现跨VPC访问。具体步骤请参考对等连接。利用VPC终端节点在不同VPC间建立跨VPC的连接通道,实现Kafka客户端通过内网访问Kafka实例。具体步骤请参考使用VPCEP实现跨VPC访问Kafka。 - [Kafka实例是否支持不同的子网?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426020.md): 支持。客户端与实例在相同VPC内,可以跨子网段访问。同一个VPC内的子网默认可以进行通信。 - [Kafka是否支持Kerberos认证,如何开启认证?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426023.md): Kafka支持SASL客户端认证、调用接口支持Token和AK/SK两种认证,Kerberos认证目前不支持。如果使用SASL认证方式,则在开源客户端基础上使用分布式消息服务Kafka版提供的证书文件。具体操作参考使用客户端连接Kafka(开启SASL)。 - [Kafka实例是否支持无密码访问?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200708002.md): 支持,连接明文接入的Kafka实例时,无需密码。具体操作,请参考使用客户端连接Kafka(关闭SASL)。 - [开启公网访问后,在哪查看公网IP地址?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0001.md): 在Kafka控制台,单击Kafka实例名称,进入实例详情页面。在“概览”页签,查看公网IP地址(即“公网连接地址”)。如果您需要连接Kafka实例,请参考连接Kafka。 - [Kafka支持服务端认证客户端吗?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0026.md): 不支持。 - [连接开启SASL_SSL的Kafka实例时,ssl truststore文件可以用PEM格式的吗?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0027.md): 可以使用PEM格式。使用PEM格式SSL证书连接Kafka实例的方法请参考获取和使用Kafka PEM格式的SSL证书。 - [下载的证书JKS和CRT有什么区别?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0028.md): 使用Java语言连接实例时,需要用JKS格式的证书。使用Python语言连接实例时,需要用CRT格式的证书。 - [Kafka支持哪个版本的TLS?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0029.md): Kafka支持TLS 1.2。 - [Kafka实例连接数有限制吗?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0033.md): 不同规格的Kafka实例,连接数限制如下: - [客户端单IP连接的个数为多少?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0034.md): 2020年7月以及之后购买的实例,Kafka实例的每个代理允许客户端单IP连接的个数默认为1000个,在此之前购买的实例,Kafka实例的每个代理允许客户端单IP连接的个数默认为200个,如果超过了,会出现连接失败问题。您可以通过修改配置参数来修改单IP的连接数。 - [Kafka实例的内网连接地址可以修改吗?](https://support.huaweicloud.com/kafka_faq/kafka_faq_0048.md): 在实例创建后,内网连接地址不支持修改。您可以在创建实例或扩容代理数量时,指定内网连接地址。 - [不同实例中,使用的SSL证书是否一样?](https://support.huaweicloud.com/kafka_faq/kafka_faq_0051.md): Kafka实例中的SSL证书是通用的,不区分用户或者实例,即不同的用户或者实例,使用的SSL证书是同一个。获取SSL证书的方法如下: - [为什么不建议使用Sarama客户端收发消息?](https://support.huaweicloud.com/kafka_faq/kafka_faq_0061.md): 使用Sarama客户端收发消息可能存在以下问题:Sarama客户端无法感知分区变化,当Topic分区数增加时,需要重启客户端后才能正常消费。Sarama客户端消息最大处理时间(MaxProcessingTime)默认值为100ms,超过最大处理时间可能导致消费者无法消费。当消费位点重置策略设置为Oldest(earliest)时,当客户端 - [Kafka实例的Topic数量是否有限制?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426024.md): Topic数量和Topic总分区数、每个Topic的分区数有关,Kafka实例对Topic总分区数设置了上限,当达到上限后,会导致用户无法继续创建Topic。例如:kafka.2u4g.cluster * 3 broker实例的Topic总分区数=代理数量*单个代理分区上限,即3*250=750。如果该实例下每个Topic的分区数都为3, - [为什么限制Topic的总分区数?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426025.md): Kafka以分区为粒度管理消息,分区多导致生产、存储、消费都碎片化,影响性能稳定性。在使用过程中,当Topic的总分区数达到上限后,用户就无法继续创建Topic。不同规格配置的Topic总分区数不同,如下表所示。 - [Kafka支持减少分区数吗?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426101.md): Kafka不支持减少分区数,您可以通过删除原先的Topic,然后创建新Topic,重新设置分区数。 - [Kafka实例创建Topic失败](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426026.md): 可能原因:已创建的Topic,分区数之和达到实例规格的分区数上限。不同规格实例配置的分区数上限不同,具体请参考Kafka实例规格。解决方案:对Kafka实例扩容,或者删除不需要的Topic。 - [Kafka实例支持批量导入Topic功能么?或者是自动生成Topic功能?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426027.md): 支持自动生成Topic功能,但不支持Topic批量导入功能,仅支持批量导出Topic功能。通过以下任意一种方法,开启自动生成Topic功能:创建实例时,开启Kafka自动创建Topic。创建实例后,在实例详情页开启Kafka自动创建Topic。 - [Kafka实例是否支持查看单个Topic占用磁盘空间?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426030.md): 支持。通过以下任意一种方法,查看单个Topic占用磁盘空间大小。在Kafka实例名称所在行,单击“查看监控数据”,跳转到云监控页面。在“主题”页签中,“主题”选择待查看磁盘空间大小的Topic名称,“监控类型”选择“基本监控”,查看“队列数据容量”,该指标表示该队列当前的消息数据大小。单击Kafka实例名称,进入实例详情页。在左侧导航栏选 - [Topic是否支持ACL权限配置?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426032.md): Kafka实例已开启Kafka SASL_SSL功能,此时Topic支持配置ACL权限。在Kafka控制台的“实例管理 > Topic管理”页面,在待设置用户权限的Topic所在行,单击“用户权限”,为用户设置不同的权限。具体操作请参考设置Topic权限。 - [消息被消费后,没有删除,导致Kafka存储空间占满?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0003.md): 消息被消费后,并不会被删除,只有超过老化时间,才会被删除。您可以通过减小老化时间或者扩容存储空间,解决此问题。 - [如何扩容总分区?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0005.md): 增加基准带宽/代理数量/代理规格,可以扩容总分区数。具体操作请参考变更Kafka集群实例规格。 - [修改自动创建Topic的配置,会触发重启吗?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0010.md): 开启或者关闭“Kafka自动创建Topic”,可能会导致Kafka重启,具体以控制台显示为准。 - [消费者消费Topic失败,提示没有权限?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0038.md): 问题现象:同一个消费组内有多个消费者,为每个消费者授权不同的Topic访问权限,某一消费者消费其中一个Topic时,提示消费失败,报错信息如下:Not authorized to access topics。问题原因:消费组的leader在进行分区分配时,不会考虑某一个消费者的授权和订阅信息,只会根据消费组整体的订阅情况进行分区分配,此种 - [分区数可以单独买吗?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0068.md): Topic分区数不能单独购买,您可以通过增加基准带宽/代理数量/代理规格,实现增加总分区数。具体操作请参考变更Kafka集群实例规格。 - [Topic扩容分区后,新分区消息持续堆积,无消费者进行消费?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0072.md): 若消费端采用librdkafka客户端,此问题为该客户端的已知Bug。具体内容为:Topic扩容分区后,若消费组内的leader消费者并未订阅该Topic,那么新扩容的分区将无法被该消费组订阅。消费组仅订阅一个Topic,可避免该问题发生。Topic扩容分区后,重启消费组内的任意一个消费者进程,触发消费组重平衡,使新分区被重新分配。Top - [Kafka实例的Topic数量是否有限制?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426024.md): Topic数量和Topic总分区数、每个Topic的分区数有关,Kafka实例对Topic总分区数设置了上限,当达到上限后,会导致用户无法继续创建Topic。例如:kafka.2u4g.cluster * 3 broker实例的Topic总分区数=代理数量*单个代理分区上限,即3*250=750。如果该实例下每个Topic的分区数都为3, - [为什么限制Topic的总分区数?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426025.md): Kafka以分区为粒度管理消息,分区多导致生产、存储、消费都碎片化,影响性能稳定性。在使用过程中,当Topic的总分区数达到上限后,用户就无法继续创建Topic。不同规格配置的Topic总分区数不同,如下表所示。 - [Kafka支持减少分区数吗?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426101.md): Kafka不支持减少分区数,您可以通过删除原先的Topic,然后创建新Topic,重新设置分区数。 - [Kafka实例创建Topic失败](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426026.md): 可能原因:已创建的Topic,分区数之和达到实例规格的分区数上限。不同规格实例配置的分区数上限不同,具体请参考Kafka实例规格。解决方案:对Kafka实例扩容,或者删除不需要的Topic。 - [Kafka实例支持批量导入Topic功能么?或者是自动生成Topic功能?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426027.md): 支持自动生成Topic功能,但不支持Topic批量导入功能,仅支持批量导出Topic功能。通过以下任意一种方法,开启自动生成Topic功能:创建实例时,开启Kafka自动创建Topic。创建实例后,在实例详情页开启Kafka自动创建Topic。 - [Kafka实例是否支持查看单个Topic占用磁盘空间?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426030.md): 支持。通过以下任意一种方法,查看单个Topic占用磁盘空间大小。在Kafka实例名称所在行,单击“查看监控数据”,跳转到云监控页面。在“主题”页签中,“主题”选择待查看磁盘空间大小的Topic名称,“监控类型”选择“基本监控”,查看“队列数据容量”,该指标表示该队列当前的消息数据大小。单击Kafka实例名称,进入实例详情页。在左侧导航栏选 - [Topic是否支持ACL权限配置?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426032.md): Kafka实例已开启Kafka SASL_SSL功能,此时Topic支持配置ACL权限。在Kafka控制台的“实例管理 > Topic管理”页面,在待设置用户权限的Topic所在行,单击“用户权限”,为用户设置不同的权限。具体操作请参考设置Topic权限。 - [消息被消费后,没有删除,导致Kafka存储空间占满?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0003.md): 消息被消费后,并不会被删除,只有超过老化时间,才会被删除。您可以通过减小老化时间或者扩容存储空间,解决此问题。 - [如何扩容总分区?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0005.md): 增加基准带宽/代理数量/代理规格,可以扩容总分区数。具体操作请参考变更Kafka集群实例规格。 - [修改自动创建Topic的配置,会触发重启吗?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0010.md): 开启或者关闭“Kafka自动创建Topic”,可能会导致Kafka重启,具体以控制台显示为准。 - [消费者消费Topic失败,提示没有权限?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0038.md): 问题现象:同一个消费组内有多个消费者,为每个消费者授权不同的Topic访问权限,某一消费者消费其中一个Topic时,提示消费失败,报错信息如下:Not authorized to access topics。问题原因:消费组的leader在进行分区分配时,不会考虑某一个消费者的授权和订阅信息,只会根据消费组整体的订阅情况进行分区分配,此种 - [分区数可以单独买吗?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0068.md): Topic分区数不能单独购买,您可以通过增加基准带宽/代理数量/代理规格,实现增加总分区数。具体操作请参考变更Kafka集群实例规格。 - [Topic扩容分区后,新分区消息持续堆积,无消费者进行消费?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0072.md): 若消费端采用librdkafka客户端,此问题为该客户端的已知Bug。具体内容为:Topic扩容分区后,若消费组内的leader消费者并未订阅该Topic,那么新扩容的分区将无法被该消费组订阅。消费组仅订阅一个Topic,可避免该问题发生。Topic扩容分区后,重启消费组内的任意一个消费者进程,触发消费组重平衡,使新分区被重新分配。Top - [Kafka实例是否需要创建消费组、生产者和消费者?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426033.md): “auto.create.groups.enable”为“true”时,不需要单独创建消费组、生产者和消费者,在使用时自动生成,实例创建后,直接使用即可。“auto.create.groups.enable”为“false”时,需要手动创建消费组,不需要单独创建生产者和消费者。修改“auto.create.groups.enable”的方 - [如果消息组中没有在线的消费者(如empty状态),是否14天后会自动被删除?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0043.md): 消息组中没有在线的消费者(如empty状态),14天后是否会自动被删除与offsets.retention.minutes、auto.create.groups.enable参数有关:2023年4月25日前创建的实例,auto.create.groups.enable默认为true,消费组多久后会自动被删除取决于offsets.reten - [为什么删除消费组不生效?](https://support.huaweicloud.com/kafka_faq/kafka_faq_0059.md): 可能原因:您开启了自动创建消费组功能,且您的业务正在连接该消费组消费消息。所以,如果没有停止您的业务,删除了消费组后,消费消息时还是会自动创建该消费组。解决办法:关闭自动创建消费组功能,即在Kafka控制台的“实例管理 > 配置参数”页面,把“auto.create.groups.enable”设置为“false”,然后再删除消费组。部分 - [实例消费正常,为什么看不到消费者?](https://support.huaweicloud.com/kafka_faq/kafka_faq_0060.md): 检查是否使用Flink进行消费。Flink使用的是assign模式,消费者定义在客户端,因此在Kafka实例控制台看不到消费者。 - [Kafka可以删除消费组下不用的Topic吗?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0031.md): 可以。在Kafka控制台的消费组详情页下,取消消费组和Topic的订阅关系,具体操作请参考取消Kafka消费组和Topic的订阅关系。 - [为什么创建的消费组不见了?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0069.md): 如果您发现已创建的消费组在控制台查询不到这一现象,可能的原因如下:“auto.create.groups.enable”设置为“true”,消费组的状态为“EMPTY”且从未提交过offset,系统将在消费组创建成功的十分钟后自动删除该消费组。消费组从未提交过offset,当Kafka实例重启后,该消费组会被删除。 - [Kafka实例是否需要创建消费组、生产者和消费者?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426033.md): “auto.create.groups.enable”为“true”时,不需要单独创建消费组、生产者和消费者,在使用时自动生成,实例创建后,直接使用即可。“auto.create.groups.enable”为“false”时,需要手动创建消费组,不需要单独创建生产者和消费者。修改“auto.create.groups.enable”的方 - [如果消息组中没有在线的消费者(如empty状态),是否14天后会自动被删除?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0043.md): 消息组中没有在线的消费者(如empty状态),14天后是否会自动被删除与offsets.retention.minutes、auto.create.groups.enable参数有关:2023年4月25日前创建的实例,auto.create.groups.enable默认为true,消费组多久后会自动被删除取决于offsets.reten - [为什么删除消费组不生效?](https://support.huaweicloud.com/kafka_faq/kafka_faq_0059.md): 可能原因:您开启了自动创建消费组功能,且您的业务正在连接该消费组消费消息。所以,如果没有停止您的业务,删除了消费组后,消费消息时还是会自动创建该消费组。解决办法:关闭自动创建消费组功能,即在Kafka控制台的“实例管理 > 配置参数”页面,把“auto.create.groups.enable”设置为“false”,然后再删除消费组。部分 - [实例消费正常,为什么看不到消费者?](https://support.huaweicloud.com/kafka_faq/kafka_faq_0060.md): 检查是否使用Flink进行消费。Flink使用的是assign模式,消费者定义在客户端,因此在Kafka实例控制台看不到消费者。 - [Kafka可以删除消费组下不用的Topic吗?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0031.md): 可以。在Kafka控制台的消费组详情页下,取消消费组和Topic的订阅关系,具体操作请参考取消Kafka消费组和Topic的订阅关系。 - [为什么创建的消费组不见了?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0069.md): 如果您发现已创建的消费组在控制台查询不到这一现象,可能的原因如下:“auto.create.groups.enable”设置为“true”,消费组的状态为“EMPTY”且从未提交过offset,系统将在消费组创建成功的十分钟后自动删除该消费组。消费组从未提交过offset,当Kafka实例重启后,该消费组会被删除。 - [Kafka生产消息的最大长度是多少?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426035.md): 生产消息的最大长度为10MB。 - [为什么Kafka实例常常发生Rebalance(重平衡),导致消息拉取失败?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426036.md): 消费组的Rebalance就是对Topic分区的重新分配。正常情况下消费组内加入新的消费者或老的消费者退出都会导致Rebalance,这种情况是无法避免的。但是某些特殊情况下,消费者会被服务端认为异常从而被踢出消费组,此时可能会导致消费异常,需要重点关注。消费者被服务端认为异常从而被踢出消费组的场景如下:未能及时发送心跳请求。消费者以设置 - [为什么Console页面上,消息查询查不到消息?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426037.md): 可能原因1:消息已被老化。解决方法:修改老化时间。解决方法:修改老化时间。可能原因2:消息的createTime时间戳不对。Console页面是根据时间查询的,所以查不到。时间戳是由客户端生成,不同客户端有不同的处理策略,有的客户端默认值会是0或者-1,则查询不到消息。解决方法:检查客户端消息的createTime设置是否正确。Conso - [Kafka消息堆积了怎么办?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426100.md): 问题现象:实例的监控指标“消息堆积数”产生了告警。处理方法1:在Kafka实例控制台,单击产生告警的实例名称,进入实例详情页。在左侧导航栏,单击“监控 > 监控详情”,进入监控页面。在“消费组”页签中,查看“消息堆积数(消费组可消费消息数)”,找出消息堆积的消费组。在左侧导航栏,单击“实例管理 > 消费组管理”,进入消费组列表页面。查看消 - [消息超过老化时间,消息仍存在的原因](https://support.huaweicloud.com/kafka_faq/kafka-faq-200708001.md): 问题现象:消息超过设置的老化时间(如果Topic已设置老化时间,则“实例管理 > 配置参数”中的log.retention.hours值对此Topic不生效。仅当Topic未设置老化时间时,该参数值才会生效。),消息仍存在。可能原因1:Topic的每个分区都是由多个大小相同的segment文件组成,每个segment文件的大小为500MB - [Kafka实例是否支持延迟消息?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0018.md): 不支持延迟消息。 - [如何查看堆积消息数?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0041.md): 通过以下任意一种方法,查看堆积消息数。在Kafka控制台的“实例管理 > 消费组管理”页面,单击待查看堆积消息的消费组名称,进入消费组详情页。在“消费进度”页签,查看消费组中每个Topic的总堆积数。具体步骤,请参考查看消费进度。在Kafka控制台的“监控 > 监控详情”页面的“消费组”页签中,“消费组”选择待查看堆积消息数的消费组名称, - [为什么消息创建时间显示1970?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0045.md): 消息创建时间是由生产客户端在生产消息时通过CreateTime指定的,如果生产消息时没有设置此参数,消息创建时间会默认为1970。 - [如何修改message.max.bytes参数?](https://support.huaweicloud.com/kafka_faq/kafka_faq_0058.md): 在Kafka控制台的“实例管理 > 配置参数”页面修改message.max.bytes参数,具体步骤请参见修改Kafka实例配置参数。message.max.bytes参数最大只能修改为10485760字节,如果您实际的业务场景中单条消息的大小超过此值,建议使用压缩算法或者业务逻辑做切分。 - [为什么offset不连续?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0065.md): 在生产者客户端中开启幂等或事务,然后生产消息,此时您会在消费者客户端或Kafka控制台的“实例管理 > 消息查询”中观察到消息offset不连续的现象。这是因为开启了幂等或事务后,在生产消息时会产生一些元数据控制消息,这些控制消息也会生产到该Topic中, 且它们对消费者不可见,从而造成offset不连续的现象。Kafka生产者客户端3. - [为什么生产的消息全部进入同一个分区?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0073.md): 生产者发送消息时指定了相同Key,相同Key的消息会被路由至同一个分区。生产者使用自定义的Key序列化器,即便发送的消息携带不同的Key或无Key,只要服务端经过该Key序列化器解析出相同的Key,最终会导致消息被路由至同一个分区。生产者发送消息时设置不同的Key。基于实际问题,优化自定义Key序列化器的处理逻辑。 - [Kafka生产消息的最大长度是多少?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426035.md): 生产消息的最大长度为10MB。 - [为什么Kafka实例常常发生Rebalance(重平衡),导致消息拉取失败?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426036.md): 消费组的Rebalance就是对Topic分区的重新分配。正常情况下消费组内加入新的消费者或老的消费者退出都会导致Rebalance,这种情况是无法避免的。但是某些特殊情况下,消费者会被服务端认为异常从而被踢出消费组,此时可能会导致消费异常,需要重点关注。消费者被服务端认为异常从而被踢出消费组的场景如下:未能及时发送心跳请求。消费者以设置 - [为什么Console页面上,消息查询查不到消息?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426037.md): 可能原因1:消息已被老化。解决方法:修改老化时间。解决方法:修改老化时间。可能原因2:消息的createTime时间戳不对。Console页面是根据时间查询的,所以查不到。时间戳是由客户端生成,不同客户端有不同的处理策略,有的客户端默认值会是0或者-1,则查询不到消息。解决方法:检查客户端消息的createTime设置是否正确。Conso - [Kafka消息堆积了怎么办?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426100.md): 问题现象:实例的监控指标“消息堆积数”产生了告警。处理方法1:在Kafka实例控制台,单击产生告警的实例名称,进入实例详情页。在左侧导航栏,单击“监控 > 监控详情”,进入监控页面。在“消费组”页签中,查看“消息堆积数(消费组可消费消息数)”,找出消息堆积的消费组。在左侧导航栏,单击“实例管理 > 消费组管理”,进入消费组列表页面。查看消 - [消息超过老化时间,消息仍存在的原因](https://support.huaweicloud.com/kafka_faq/kafka-faq-200708001.md): 问题现象:消息超过设置的老化时间(如果Topic已设置老化时间,则“实例管理 > 配置参数”中的log.retention.hours值对此Topic不生效。仅当Topic未设置老化时间时,该参数值才会生效。),消息仍存在。可能原因1:Topic的每个分区都是由多个大小相同的segment文件组成,每个segment文件的大小为500MB - [Kafka实例是否支持延迟消息?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0018.md): 不支持延迟消息。 - [如何查看堆积消息数?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0041.md): 通过以下任意一种方法,查看堆积消息数。在Kafka控制台的“实例管理 > 消费组管理”页面,单击待查看堆积消息的消费组名称,进入消费组详情页。在“消费进度”页签,查看消费组中每个Topic的总堆积数。具体步骤,请参考查看消费进度。在Kafka控制台的“监控 > 监控详情”页面的“消费组”页签中,“消费组”选择待查看堆积消息数的消费组名称, - [为什么消息创建时间显示1970?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0045.md): 消息创建时间是由生产客户端在生产消息时通过CreateTime指定的,如果生产消息时没有设置此参数,消息创建时间会默认为1970。 - [如何修改message.max.bytes参数?](https://support.huaweicloud.com/kafka_faq/kafka_faq_0058.md): 在Kafka控制台的“实例管理 > 配置参数”页面修改message.max.bytes参数,具体步骤请参见修改Kafka实例配置参数。message.max.bytes参数最大只能修改为10485760字节,如果您实际的业务场景中单条消息的大小超过此值,建议使用压缩算法或者业务逻辑做切分。 - [为什么offset不连续?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0065.md): 在生产者客户端中开启幂等或事务,然后生产消息,此时您会在消费者客户端或Kafka控制台的“实例管理 > 消息查询”中观察到消息offset不连续的现象。这是因为开启了幂等或事务后,在生产消息时会产生一些元数据控制消息,这些控制消息也会生产到该Topic中, 且它们对消费者不可见,从而造成offset不连续的现象。Kafka生产者客户端3. - [为什么生产的消息全部进入同一个分区?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0073.md): 生产者发送消息时指定了相同Key,相同Key的消息会被路由至同一个分区。生产者使用自定义的Key序列化器,即便发送的消息携带不同的Key或无Key,只要服务端经过该Key序列化器解析出相同的Key,最终会导致消息被路由至同一个分区。生产者发送消息时设置不同的Key。基于实际问题,优化自定义Key序列化器的处理逻辑。 - [登录Kafka Manager的账号是否可以设置为只读账号?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426038.md): 不支持设置为只读账号。 - [登录到Kafka Manager页面,为什么获取不到节点信息?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426039.md): 问题现象:正常登录Kafka Manager页面,但是页面无法显示节点信息,如下所示:问题原因:这是Kafka开源问题,需要联系客服,重启Kafka Manager。 - [Yikes! Insufficient partition balance when creating topic : projectman_project_enterprise_project Try again.](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426040.md): 问题现象:在Kafka Manager中无法创建topic,报错:Yikes! Insufficient partition balance when creating topic : projectman_project_enterprise_project Try again.问题原因:Topic分区超过限制,不能继续创建Topic。 - [Kafka Manager能否查询到消息的正文?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0009.md): Kafka Manager无法查询到消息的正文。 - [Kafka Manager WebUI的端口能否修改?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0012.md): Kafka Manager WebUI的端口不支持修改。 - [在Kafka Manager上支持修改Topic的哪些属性?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0013.md): 在Kafka Manager上,支持修改如下的Topic属性:max.message.bytes、segment.index.bytes、segment.jitter.ms、min.cleanable.dirty.ratio、retention.bytes、file.delete.delay.ms、compression.type、flu - [Kafka Manager和云监控显示的信息不一致](https://support.huaweicloud.com/kafka_faq/kafka-faq-0019.md): 问题现象:在后台删除某个消费组后,在云监控已经不显示此消费组,但是Kafka Manager中依然存在。问题原因:Kafka Manager存在缓存。处理方法:登录Kafka控制台,在实例所在行,单击“更多 > 重启Manager”。 - [Kafka Manager如何修改Topic的分区Leader?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0039.md): 在Kafka Manager中修改Topic的分区Leader的步骤如下:登录Kafka Manager。选择“Topic > List”,进入Topic列表页面。单击待修改分区Leader的Topic名称(以topic-test为例介绍),进入Topic详情页面。单击“Manual Partition Assignments”,进入修改 - [实例版本在控制台和Kafka Manager上显示不一致?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0042.md): Kafka实例的版本以控制台为准。Kafka Manager使用了开源Kafka 2.2.0的公共信息配置,所以显示的版本是2.2.0,和购买的Kafka实例版本没有关系。 - [为什么实例中存在默认名为__trace和__consumer_offsets的Topic?](https://support.huaweicloud.com/kafka_faq/kafka_faq_0047.md): 问题现象:Kafka Manager中存在默认名为__trace和__consumer_offsets的Topic。处理方法:__trace和__consumer_offsets是Kafka实例内部预留的Topic,不建议删除这两个Topic,删除后可能导致实例无法使用。 - [客户端删除消费组后,在Kafka Manager中仍可以看到此消费组?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0044.md): 客户端删除消费组后,此消费组已经被删除了。在Kafka Manager中仍可以看到此消费组,是因为Kafka Manager存在缓存。通过以下任意一种方法解决此问题:重启Kafka Manager。Kafka Manager只显示14天内有消费记录的消费组,如果您不想重启Kafka Manager,可以等待14天后Kafka Manage - [登录Kafka Manager的账号是否可以设置为只读账号?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426038.md): 不支持设置为只读账号。 - [登录到Kafka Manager页面,为什么获取不到节点信息?](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426039.md): 问题现象:正常登录Kafka Manager页面,但是页面无法显示节点信息,如下所示:问题原因:这是Kafka开源问题,需要联系客服,重启Kafka Manager。 - [Yikes! Insufficient partition balance when creating topic : projectman_project_enterprise_project Try again.](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426040.md): 问题现象:在Kafka Manager中无法创建topic,报错:Yikes! Insufficient partition balance when creating topic : projectman_project_enterprise_project Try again.问题原因:Topic分区超过限制,不能继续创建Topic。 - [Kafka Manager能否查询到消息的正文?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0009.md): Kafka Manager无法查询到消息的正文。 - [Kafka Manager WebUI的端口能否修改?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0012.md): Kafka Manager WebUI的端口不支持修改。 - [在Kafka Manager上支持修改Topic的哪些属性?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0013.md): 在Kafka Manager上,支持修改如下的Topic属性:max.message.bytes、segment.index.bytes、segment.jitter.ms、min.cleanable.dirty.ratio、retention.bytes、file.delete.delay.ms、compression.type、flu - [Kafka Manager和云监控显示的信息不一致](https://support.huaweicloud.com/kafka_faq/kafka-faq-0019.md): 问题现象:在后台删除某个消费组后,在云监控已经不显示此消费组,但是Kafka Manager中依然存在。问题原因:Kafka Manager存在缓存。处理方法:登录Kafka控制台,在实例所在行,单击“更多 > 重启Manager”。 - [Kafka Manager如何修改Topic的分区Leader?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0039.md): 在Kafka Manager中修改Topic的分区Leader的步骤如下:登录Kafka Manager。选择“Topic > List”,进入Topic列表页面。单击待修改分区Leader的Topic名称(以topic-test为例介绍),进入Topic详情页面。单击“Manual Partition Assignments”,进入修改 - [实例版本在控制台和Kafka Manager上显示不一致?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0042.md): Kafka实例的版本以控制台为准。Kafka Manager使用了开源Kafka 2.2.0的公共信息配置,所以显示的版本是2.2.0,和购买的Kafka实例版本没有关系。 - [为什么实例中存在默认名为__trace和__consumer_offsets的Topic?](https://support.huaweicloud.com/kafka_faq/kafka_faq_0047.md): 问题现象:Kafka Manager中存在默认名为__trace和__consumer_offsets的Topic。处理方法:__trace和__consumer_offsets是Kafka实例内部预留的Topic,不建议删除这两个Topic,删除后可能导致实例无法使用。 - [客户端删除消费组后,在Kafka Manager中仍可以看到此消费组?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0044.md): 客户端删除消费组后,此消费组已经被删除了。在Kafka Manager中仍可以看到此消费组,是因为Kafka Manager存在缓存。通过以下任意一种方法解决此问题:重启Kafka Manager。Kafka Manager只显示14天内有消费记录的消费组,如果您不想重启Kafka Manager,可以等待14天后Kafka Manage - [云监控无法展示Kafka监控数据](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426041.md): Topic监控数据无法展示,可能原因如下:Topic名称开头包含特殊字符,例如#号“#”。在云监控中特殊字符“.”按5个字符计算长度。如果Topic名称包含“.”,且经此规则计算后的总长度超过256个字符。Kafka实例中没有创建Topic。解决方法如下:删除带特殊字符的Topic。删除带特殊字符“.”的Topic。创建Topic。消费组 - [Kafka监控显示消息堆积数跟实例里的消息数不一致?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0007.md): 问题现象:监控显示消息堆积数为8.1亿+,Kafka控制台显示实例中6个Topic的消息数总和为1亿+,两者不一致。问题结论:两者统计方式不同,Kafka控制台显示的消息数为实例中未消费的消息个数,而监控显示的消息堆积数=Topic中的消息积压数*消费组数。 - [Kafka的消费组删除了,怎么监控页面还可以看到这个消费组?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0022.md): 监控数据是每分钟进行采集上报,上报的数据经过整理后才会显示在监控页面上,此过程大约需要几分钟到十几分钟,建议您在删除消费组后,过一段时间再去监控页面查看。 - [生产/消费流量较低时,为何磁盘读/写流量、磁盘平均读/写操作耗时偶尔出现突刺波动?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0063.md): 磁盘读流量、磁盘写流量、磁盘平均读操作耗时和磁盘平均写操作耗时这几个监控指标采集的是近一分钟的平均值,仅作为系统资源评估参考。它们出现突刺波动通常情况下是由于Kafka采用异步落盘机制(即Topic未开启同步落盘)导致磁盘写入带宽达到上限时触发秒级限流,带宽触顶的同一秒内写入操作会产生明显延迟,进而引发磁盘读/写流量和平均读/写耗时的瞬时 - [为什么JVM堆内存使用率出现明显波动?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0064.md): JVM堆内存使用率在监控页面呈现锯齿状属于正常现象,在扩容规格或升级Kafka实例内核版本后,可能导致JVM堆内存使用率最大值升高、波动幅度变大,这种波动属于JVM堆内存回收的正常机制,对业务无影响。 - [生产消息数不为0,为什么生产速率为0?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0066.md): 消息生产速率的原始指标数据为每分钟上报一次,单位为“个/秒”。因此消息生产速率=一分钟内生产的消息数/60,其值向下取整。若一分钟内生产的消息数小于60个,生产速率会显示为0。 - [消息消费中,为什么消费速率显示为0?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0071.md): 消费速率的原始指标数据为每分钟上报一次,单位为“个/秒”。因此消费速率等于一分钟内消费的消息数除以60,其值向下取整。若一分钟内消费的消息数小于60个,消费速率会显示为0。消费速率包括“消费组消费速率”、“队列消费速率”和“分区消费速率”。 - [消费进度中的消息堆积数为何与监控中的不一致?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0067.md): 消费组详情页的“消费进度”页签显示目标Topic存在消息堆积,但消费组监控页面的“消息堆积数(消费组可消费消息数)”指标数值与该堆积显示结果不一致。消息堆积数的计算逻辑为:堆积数=最大消息位置-偏移量。“消费进度”页签中“最大消息位置”和“偏移量”为同一时刻采集的数据。而消费组监控页面,这两项数据的采集存在1~2秒间隔,导致1~2秒的消息 - [云监控无法展示Kafka监控数据](https://support.huaweicloud.com/kafka_faq/kafka-faq-200426041.md): Topic监控数据无法展示,可能原因如下:Topic名称开头包含特殊字符,例如#号“#”。在云监控中特殊字符“.”按5个字符计算长度。如果Topic名称包含“.”,且经此规则计算后的总长度超过256个字符。Kafka实例中没有创建Topic。解决方法如下:删除带特殊字符的Topic。删除带特殊字符“.”的Topic。创建Topic。消费组 - [Kafka监控显示消息堆积数跟实例里的消息数不一致?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0007.md): 问题现象:监控显示消息堆积数为8.1亿+,Kafka控制台显示实例中6个Topic的消息数总和为1亿+,两者不一致。问题结论:两者统计方式不同,Kafka控制台显示的消息数为实例中未消费的消息个数,而监控显示的消息堆积数=Topic中的消息积压数*消费组数。 - [Kafka的消费组删除了,怎么监控页面还可以看到这个消费组?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0022.md): 监控数据是每分钟进行采集上报,上报的数据经过整理后才会显示在监控页面上,此过程大约需要几分钟到十几分钟,建议您在删除消费组后,过一段时间再去监控页面查看。 - [生产/消费流量较低时,为何磁盘读/写流量、磁盘平均读/写操作耗时偶尔出现突刺波动?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0063.md): 磁盘读流量、磁盘写流量、磁盘平均读操作耗时和磁盘平均写操作耗时这几个监控指标采集的是近一分钟的平均值,仅作为系统资源评估参考。它们出现突刺波动通常情况下是由于Kafka采用异步落盘机制(即Topic未开启同步落盘)导致磁盘写入带宽达到上限时触发秒级限流,带宽触顶的同一秒内写入操作会产生明显延迟,进而引发磁盘读/写流量和平均读/写耗时的瞬时 - [为什么JVM堆内存使用率出现明显波动?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0064.md): JVM堆内存使用率在监控页面呈现锯齿状属于正常现象,在扩容规格或升级Kafka实例内核版本后,可能导致JVM堆内存使用率最大值升高、波动幅度变大,这种波动属于JVM堆内存回收的正常机制,对业务无影响。 - [生产消息数不为0,为什么生产速率为0?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0066.md): 消息生产速率的原始指标数据为每分钟上报一次,单位为“个/秒”。因此消息生产速率=一分钟内生产的消息数/60,其值向下取整。若一分钟内生产的消息数小于60个,生产速率会显示为0。 - [消息消费中,为什么消费速率显示为0?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0071.md): 消费速率的原始指标数据为每分钟上报一次,单位为“个/秒”。因此消费速率等于一分钟内消费的消息数除以60,其值向下取整。若一分钟内消费的消息数小于60个,消费速率会显示为0。消费速率包括“消费组消费速率”、“队列消费速率”和“分区消费速率”。 - [消费进度中的消息堆积数为何与监控中的不一致?](https://support.huaweicloud.com/kafka_faq/kafka-faq-0067.md): 消费组详情页的“消费进度”页签显示目标Topic存在消息堆积,但消费组监控页面的“消息堆积数(消费组可消费消息数)”指标数值与该堆积显示结果不一致。消息堆积数的计算逻辑为:堆积数=最大消息位置-偏移量。“消费进度”页签中“最大消息位置”和“偏移量”为同一时刻采集的数据。而消费组监控页面,这两项数据的采集存在1~2秒间隔,导致1~2秒的消息 ## 故障排除 - [Kafka连接问题排查和解决](https://support.huaweicloud.com/trouble-kafka/kafka-faq-0604001.md): 本章节主要描述Kafka连接问题的排查和解决。当您发现与Kafka实例连接出现异常时,可以根据本文的内容,从以下几个方面进行排查。检查网络检查Consumer和Producer的配置客户端连接问题-Java客户端客户端连接问题-Go客户端在连接Kafka实例前,需要确保客户端与Kafka实例之间可以相互连接,如果无法连接,建议先检查网络连 - [消息从生产到消费时延高达6分钟](https://support.huaweicloud.com/trouble-kafka/kafka-trouble-0709001.md): 消息从生产到消费的端到端时延偶现到达6分钟,业务对消息时延较为敏感。怀疑是业务堆积,处理慢导致时延。通过查看监控数据,发现业务请求并不是很多,堆积最多时也只有50条消息,同时每秒新增消息只有10条左右,应该还没有到达处理极限。通过查看监控数据,发现业务请求并不是很多,堆积最多时也只有50条消息,同时每秒新增消息只有10条左右,应该还没有到 - [生产消息失败](https://support.huaweicloud.com/trouble-kafka/kafka-trouble-0001.md): 系统提示“Disk error when trying to access log file on the disk”错误。节点磁盘使用率超高导致生产消息失败。扩容实例的磁盘空间,具体操作请参考变更Kafka实例规格。 - [删除Topic失败](https://support.huaweicloud.com/trouble-kafka/kafka-trouble-0002.md): 删除Topic不生效,删除后该Topic仍然存在。实例开启了自动创建Topic功能,且有消费者正在连接该Topic。如果没有停止业务,删除Topic后,还会有消息生产行为,并自动创建Topic。关闭Kafka自动创建Topic功能,才可以正常删除Topic。关闭方法请参考配置Kafka自动创建Topic。 - [在Windows服务器中无法登录Kafka Manager](https://support.huaweicloud.com/trouble-kafka/kafka-trouble-0003.md): 在Windows服务器的浏览器中输入Kafka Manager地址,无法登录Kafka Manager,报错信息如下图。Windows服务器和Kafka实例不在同一个VPC同一个子网内,或者安全组配置不正确,导致网络无法连通。Kafka Manager异常。检查Windows服务器和Kafka实例是否在同一个VPC同一个子网内?是,执行2 - [生产或消费消息时,报Topic {{topic_name}} not present in metadata after 60000 ms错误](https://support.huaweicloud.com/trouble-kafka/kafka-trouble-0004.md): 多可用区的Kafka实例,在某个可用区故障后,Kafka客户端在生产或消费消息时,可能会报Topic {{topic_name}} not present in metadata after 60000 ms的错误,如下图所示。以下三种措施都可以解决此问题,请根据实际情况任意选择一种。升级Kafka客户端的版本到2.7或以上版本,并设置“ - [Flink 1.15消费进度提交失败](https://support.huaweicloud.com/trouble-kafka/kafka_trouble_0007.md): Flink 1.15版本消费Kafka时, 消费进度提交失败,持续报错:COORDINATOR_NOT_AVAILABLE。Flink 1.15版本使用的Kafka客户端存在bug,当某次消费进度提交失败后, 客户端将coordinator置为不可用且无法自动恢复。重启Flink job。升级Flink至1.16及以上版本。