使用SpringBoot生产消费Kafka集群数据 本章节适用于 MRS 3.3.0及之后版本。 功能简介 通过SpringBoot实现对Kafka集群生产消费的功能。 代码样例 通过SpringBoot实现Kafka生产消费的样例代码如下： @RestController public

查看更多 →

使用Kafka生产消费数据 操作场景 用户可以通过MRS集群客户端完成Kafka Topic的创建、查询、删除等操作，也可以通过登录KafkaUI查看当前集群的消费信息。 前提条件 使用Kafka客户端时：已安装客户端，例如安装目录为“/opt/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。

查看更多 →

查看Kafka数据生产消费详情 操作场景 用户可以通过KafkaUI查看Topic详情、修改Topic Configs、增加Topic分区个数、删除Topic，并可实时查看不同时段的生产数据条数。 安全模式下，KafkaUI对查看Topic详情操作不作鉴权处理，即任何用户都可以查询Topic信息；对于修改Topic

查看更多 →

快速使用Kafka生产消费数据 操作场景 用户可以在集群客户端完成Topic的创建、查询、删除等基本操作。可参考Kafka用户权限说明设置用户权限，然后参考使用Kafka客户端生产消费数据（MRS 3.x之前版本）进行操作。 MRS 3.1.2及之后版本集群也可以通过登录Kafk

查看更多 →

查看Kafka数据生产消费详情 操作场景 用户可以通过KafkaUI查看Topic详情、修改Topic Configs、增加Topic分区个数、删除Topic，并可实时查看不同时段的生产数据条数。 安全模式下，KafkaUI对查看Topic详情操作不作鉴权处理，即任何用户都可以查询Topic信息；对于修改Topic

查看更多 →

向Kafka生产并消费数据程序 Flink向Kafka生产并消费数据应用开发思路 Flink向Kafka生产并消费数据Java样例代码 Flink向Kafka生产并消费数据Scala样例代码 父主题： 开发Flink应用

查看更多 →

决于目标集群对源集群的读取速度，而读取速度取决于Scroll API的size和slice参数配置。参数配置的详细指导可参考Reindex API文档。 由于ESM能够迅速从源集群读取数据，可能会对源集群的性能产生影响。因此，建议在业务低峰时段进行数据迁移，以监控源集群CPU和内

查看更多 →

35版本的RabbitMQ实例。 迁移原理 在实际业务场景中，RabbitMQ实例存在多个生产者和消费者，在业务迁移时，不会迁移数据，只是通过逐个增加/关闭消费者、生产者的方式迁移实例，这种迁移方式可以实现业务无感迁移。 前提条件 已创建目标RabbitMQ实例，具体请参考购买RabbitMQ实例。 实施方案（双读模式迁移实例）

查看更多 →

Connect。由于在迁移生产业务之前，消费业务就已经运行在ROMA Connect上，因此不会存在端到端时延的问题。但是在迁移生产的开始阶段，同时消费原Kafka与ROMA Connect，会导致部分消息之间的生产顺序无法保证，存在消息乱序的问题。 此方案适用于对端到端时延有要求，却对消息顺序不敏感的业务。

查看更多 →

由于Reindex任务在Elasticsearch集群中作为异步任务执行，在低并发情况下对源集群性能的影响是可管理的。然而，对于资源占用较高的集群，建议通过调整Scroll API的size参数来减缓迁移速度，或选择在业务低峰期进行迁移，以降低对业务的影响。 约束限制 集群迁移过程中，源集群的索引数据不能增删改，否

查看更多 →

通过数据开发实现数据增量迁移 DataArts Studio 服务的DLF组件提供了一站式的大数据协同开发平台，借助DLF的在线脚本编辑、周期调度 CDM 的迁移作业，也可以实现增量数据迁移。 这里以DWS导入到OBS为例，介绍DLF配合CDM实现增量迁移的流程： 获取CDM作业的JSON

查看更多 →

通过数据开发实现数据增量迁移 DataArts Studio服务的DLF组件提供了一站式的大数据协同开发平台，借助DLF的在线脚本编辑、周期调度CDM的迁移作业，也可以实现增量数据迁移。 这里以DWS导入到OBS为例，介绍DLF配合CDM实现增量迁移的流程： 获取CDM作业的JSON

查看更多 →

数据消费 数据消费是指第三方软件、云产品等通过客户端实时消费日志服务的数据，是对全量数据的顺序读写。 安全云脑提供数据消费功能，支持通过客户端实时消费数据。 开启数据消费 登录管理控制台。 单击管理控制台左上角的，选择区域和项目。 在页面左上角单击，选择“安全与合规 > 安全云脑

查看更多 →

Flink向Kafka生产并消费数据应用开发思路 假定某个Flink业务每秒就会收到1个消息记录。 基于某些业务要求，开发的Flink应用程序实现功能：实时输出带有前缀的消息内容。 数据规划 Flink样例工程的数据存储在Kafka组件中。Flink向Kafka组件发送数据（需要有kaf

查看更多 →

使用外表功能实现 GaussDB (DWS)集群间数据迁移 大数据融合分析场景下，支持同一区域内的多套GaussDB(DWS)集群之间的数据互通互访，本实践将演示通过Foreign Table方式从远端DWS导入数据到本地端DWS。 本实践演示过程为：以gsql作为数据库客户端，gs

查看更多 →

力。用户对可靠性要求提升后，需要迁移到多AZ部署的实例上。 约束与限制 使用Smart Connect迁移业务，会对源端Kafka进行消费，对目标端Kafka进行生产，会占用源端和目标端Kafka的带宽。 出于性能考虑，Smart Connect实时同步源端和目标端的数据，但是消

查看更多 →

迁移集群 创建集群 集群管理 计费说明 集群状态说明 资源类型和安全组配置说明

查看更多 →

该参数针对企业用户使用。企业项目是对企业不同项目间资源的分组和管理，属于逻辑隔离。 选择“default”。 容量阈值策略 选择“自动删除”，即磁盘达到95%的容量阈值后，可以正常生产和消费消息，但是会删除最早的10%的消息，以保证磁盘容量充足。该场景优先保障业务不中断，数据存在丢失的风险。 图6

查看更多 →

查看Kafka生产消费示例代码 分布式消息服务Kafka版支持在控制台查看Java、Go和Python语言的生产消费消息示例代码，您可以参考示例代码快速完成Kafka客户端的集成，并进行消息的生产和消费。 查看Kafka生产消费示例代码 登录管理控制台。 在管理控制台左上角单击，选择区域。

查看更多 →

Logstash对接Kafka生产消费消息 方案概述 应用场景 Logstash是免费且开放的 服务器 端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到指定的存储中。Kafka是一种高吞吐量的分布式发布订阅消息系统，也是Logstash支持的众多输入输出源之一。本章

查看更多 →

集群迁移：当今很多企业将业务迁移上云，迁移过程中需要确保线下集群和云上集群的数据同步，保证业务的连续性。 方案架构 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。其原理如图1所示，MirrorMaker本质上也是生产消费消息，首先从源集群中消费数据，然后将

查看更多 →