性能与可靠性；基于业务需要，通常还会使用D CS 、Kafka等中间件及DDS文档数据库；为满足对应的可用性目标，建议方案如下： 类别 实施方案 冗余 ELB、CCE、DCS、Kafka、 GaussDB 、DDS等云服务实例均高可用部署。 备份 GaussDB、DDS数据库自动备份，在

查看更多 →

使用Kafka Kafka用户权限管理 Kafka客户端使用实践 使用Kafka生产消费数据 创建Kafka Topic 在Kafka Topic中接入消息 管理Kafka Topic Kafka企业级能力增强 Kafka性能调优 Kafka运维管理 Kafka常见问题

查看更多 →

使用Kafka Kafka数据消费概述 Kafka用户权限管理 Kafka客户端使用实践 快速使用Kafka生产消费数据 创建Kafka Topic 在Kafka Topic中接入消息 管理Kafka Topic Kafka企业级能力增强 Kafka性能调优 Kafka运维管理 Kafka常见问题

查看更多 →

Hadoop类型： MRS ：表示连接MRS的Kafka。 Apache Kafka：表示连接Apache Kafka的Kafka。 linkConfig.brokerList 是 String Apache Kafka 连接需配置此参数。Kafka broker列表，格式如：“host1:port1

查看更多 →

依赖服务迁移 本节介绍集群依赖服务的相关数据迁移，如本地存储、数据库、分布式缓存、分布式消息等。若您的集群不涉及这些数据，或者这些数据不需要搬迁上云，可忽略本节内容。 存储迁移 若您的集群使用本地存储，迁移上云可以使用华为云数据快递服务 DES。DES服务是一种海量数据传输解决方

查看更多 →

MySQL提供更高性能与可靠性；为满足对应的可用性目标，建议方案如下： 类别 实施方案 冗余 ELB、CCE、DCS、Kafka、RDS、DDS等云服务实例均高可用部署。 备份 RDS、DDS数据库自动备份，在数据故障时使用最新备份数据恢复，可以满足可用性目标要求。 容灾 应用跨AZ部署，AZ故障时自动恢复；支持

查看更多 →

用、数据库问题以及升级部署失败的相关解决方案，以便在出现问题后可以及时恢复。 根据以上方案，典型部署架构如下： 该架构的主要特点包括： 应用系统采用有状态虚拟机+有状态数据库的分层部署架构。 该应用系统在华为云单个Region部署一套完整系统，采用跨AZ部署，其中有状态虚拟机采用

查看更多 →

Hadoop类型： MRS：表示连接MRS的Kafka。 Apache Kafka：表示连接Apache Kafka的Kafka。 linkConfig.brokerList 是 String Apache Kafka 连接需配置此参数。Kafka broker列表，格式如：“host1:port1

查看更多 →

MRS Kafka 获取MRS Kafka配置文件方法如下： 获取“krb5.conf”和“user.keytab”文件。 参考下载用户认证文件，在MRS Manager下载用户认证文件，解压后得到“krb5.conf”和 “user.keytab”文件。 获取“fikafka-producer

查看更多 →

修复Kafka 前提条件 已获取 FusionInsight Manager登录地址及admin账号。 操作步骤 登录FusionInsight Manager页面，选择“集群 > 服务 > Kafka > 配置 > 全部配置”，搜索参数“KAFKAUI_HEAP_OPTS”。在参数值中添加“

查看更多 →

MRS Kafka 功能 MRS Kafka主要是查询Topic未消费的消息数。 参数 用户可参考表1和表2配置MRS Kafka的参数。 表1 属性参数 参数 是否必选 说明 数据连接 是 选择管理中心中已创建的MRS Kafka连接。 Topic名称 是 选择MRS Kafk

查看更多 →

重启Kafka实例 分布式消息服务Kafka版支持在控制台重启单个Kafka实例，或批量重启Kafka实例。 约束与限制 在Kafka实例重启过程中，客户端的生产与消费消息等请求会被拒绝。 在客户端配置重试机制，避免因为重启实例导致的业务断连。 前提条件 只有当Kafka实例处于

查看更多 →

Kafka的安装 Kafka集群安装 上传confluent安装包 表1 上传confluent安装包 安装服务器 gx01节点、gx02节点、gx03节点 程序名称 Kafka 上传路径 /opt/ 程序安装路径 /usr/local/confluent 安装步骤 在gx01节

查看更多 →

前缀，作业将自动移除前缀并传入底层Kafka客户端，具体参数可参考 Apache Kafka官方文档 中的配置说明。 配置目的端参数。 图5 Kafka目的端配置项 目标Topic名称规则。 配置源端MySQL库表与目的端Kafka Topic的映射规则。可指定为固定的一个Topic，也可使用

查看更多 →

购买Kafka实例 购买实例 登录分布式消息服务Kafka版控制台，单击页面右上方的“购买Kafka实例”。 配置如下实例参数。更多购买实例参数的详细介绍，请参考购买Kafka实例。 计费模式：按需计费 区域：与事件网格所在区域保持一致 项目：选择默认项目 可用区：根据默认项配置 实例名称：输入“eg-kafka”

查看更多 →

分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。 在左侧导航栏单击“Kafka实例”，进入Kafka实例列表页面。 通过以下任意一种方法，删除按需计费的Kafka实例。 勾选Kafka实例名称左侧的方框，可选一个或多个，单击信息栏左上侧的“删除”。 在待删除Kafka实例所在行，单击“更多 > 删除”。

查看更多 →

华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。

查看更多 →

方案 方案介绍 数据规划

查看更多 →

方案 方案介绍 单节点部署（无HA） 单节点部署（HA） 父主题： 部署

查看更多 →

型可采用不同数据库，通常采用RDS for MySQL；同时通常还会使用DCS、Kafka等中间件及DDS文档数据库；为满足对应的可用性目标，建议采用以下方案。 单Region方案 双Region方案 父主题： 参考架构

查看更多 →

诊断Kafka消息积压 在消息处理过程中，如果客户端的消费速度跟不上服务端的发送速度，未处理的消息会越来越多，这部分消息就被称为堆积消息。消息没有被及时消费就会产生消息堆积，从而会造成消息消费延迟。 分布式消息服务Kafka版在控制台提供了消息积压诊断功能，如果消息存在堆积，诊断

查看更多 →