同步Kafka数据至ClickHouse 本章节指导用户通过创建Kafka引擎表将Kafka数据自动同步至ClickHouse集群。 前提条件 已创建Kafka集群。已安装Kafka客户端，详细可以参考安装客户端。 已创建ClickHouse集群，并且ClickHouse集群和K

查看更多 →

迁移Kafka节点内数据 操作场景 用户可以根据业务需求，通过Kafka客户端命令，在不停止服务的情况下，进行节点内磁盘间的分区数据迁移。也可以通过KafkaUI进行分区迁移。 前提条件 MRS 集群管理员已明确业务需求，并准备一个Kafka用户（属于kafkaadmin组，普通模式不需要）。

查看更多 →

接入MRS Kafka数据源 概述 ROMA Connect支持把MRS Kafka作为一个数据源，并用于数据集成任务。在使用MRS Kafka数据源前，您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下，在接入数据源前您需要有可用的集成应用，否则请提前创建集成应用。

查看更多 →

Visualization）是一站式 数据可视化 平台，适配云上云下多种数据源，提供丰富多样的2D、3D可视化组件，采用拖拽式自由布局，旨在帮助您快速定制和应用属于您自己的数据大屏。 函数工作流 FunctionGraph：函数工作流（FunctionGraph）是一项基于事件驱动的函数托管计算服务。通过函数工作流，只需

查看更多 →

数据交换平台管理端 组件说明 交换管理端用于对交换节点的统一管控，包括数据源的新增修改、作业的批量生成、作业的启动停止、作业状态的监控、作业执行情况的监控等。 图1 组件说明 数据库还原 在 MySQL 实例上面创建数据库，数据库名称为 dxp； 从数据交换管理平台部署包中复制出

查看更多 →

表2 复制数据规则参数说明 参数 参数说明 同步方式 支持以下三种同步方式： 拉取：把对端Kafka实例数据复制到当前Kafka实例中。 推送：把当前Kafka实例数据复制到对端Kafka实例中。 双向：两端Kafka实例数据进行双向复制。 Topics 设置需要进行数据复制的Topic。

查看更多 →

安装Kafka 简介 Kafka是一个拥有高吞吐、可持久化、可水平扩展，支持流式数据处理等多种特性的分布式消息流处理中间件，采用分布式消息发布与订阅机制，在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 本教程介绍如何在HCE 2.0上安装部署Kafka。

查看更多 →

API集成：使用Roma、数据服务，适用于API数据集成、管理、发布，提供安全、高性能的API访问控制和管理功能。 华为云提供多种数据集成服务，针对数据库、文件、消息、API、协议、IOT类数据集成支持可视化快速配置，配套专业服务赋能，大幅降低实施成本。 图3 数据集成设计 数据集成作业开发

查看更多 →

数据迁移类 使用 CDM 服务迁移Hadoop数据至MRS集群 使用CDM服务迁移HBase数据至MRS集群 使用CDM服务迁移Hive数据至MRS集群 使用BulkLoad工具向HBase中批量导入数据 使用CDM服务迁移MySQL数据至MRS Hive 使用CDM服务迁移MRS HDFS数据至OBS

查看更多 →

EsMDM主数据管理平台 安装环境 产品WAR包单机部署 产品WAR包集群部署 初始化服务器 系统诊断 疑难问题处理方案及数据库权限分配 父主题： 实施步骤

查看更多 →

睿治数据治理平台 安装环境 安装程序及依赖驱动清单 产品典型部署架构图 产品WAR包单机部署 产品WAR包集群部署 实时处理服务部署 边缘采集节点部署 初始化服务器 系统诊断 疑难问题处理方案及数据库权限分配 父主题： 实施步骤

查看更多 →

K转发规则的目的端，把设备上报的数据转发到DIS。 分布式消息服务 Kafka 分布式消息服务 Kafka（Distributed Message Service for Kafka，简称Kafka）是一款基于开源社区版Kafka提供的消息队列服务，是一个拥有高吞吐、可持久化、可

查看更多 →

适用于一个database一个topic的场景，避免多个schema下的数据写到一个分区，消费者可以并行从各分区获取数据。 按库名-schema自动生成Topic名字： 如果每个schema数据量都非常大，建议选择按库名-schema自动生成Topic名字，按库名-schema确定一个Topic。

查看更多 →

Collector 数据采集节点集群 云管理数据采集节点集群，主要包括对设备上的性能、终端位置、日志、应用分析数据等进行采集和处理。 FI： FusionInsight 大数据分析节点集群 云管理数据处理节点集群，该节点承担了软件大包分布式存储，性能、告警数据的分析。 支撑集群（E

查看更多 →

支持的大数据平台简介 华为云大数据存算分离方案中，OBS支持与多种大数据平台对接，包括华为云MapReduce服务（MRS）、Cloudera CDH和Hortonworks HDP，满足用户业务的灵活诉求。 华为云MapReduce服务（MRS） 华为云MapReduce服务（MR

查看更多 →

数据集成平台应用部署 将部署文件上传到服务器/usr/local/下，解压target4.0.tar tar -zxvf target4.0.tar 说明：需要java环境 检查环境：java -vrsion 图1 解压 进入/usr/local/target4.0/bin下启动服务；启动命令：

查看更多 →

本地Oracle同步到DDM 华为云RDS for MySQL 分布式消息服务Kafka RDS for MySQL同步到Kafka 华为云 GaussDB 分布式版 分布式消息服务Kafka GaussDB分布式版同步到Kafka 华为云GaussDB主备版 分布式消息服务Kafka GaussDB主备版数据同步到Kafka

查看更多 →

数据平台和可视化服务 创建API 查询API列表 修改API信息 删除API 获取可视化应用列表 大屏列表 根据Domain id删除所有Domain数据 状态分布 云服务状态数据块 父主题： API

查看更多 →

Kafka生产消息 功能介绍 在控制台发送指定消息到Kafka实例 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/instances/{instance_id}/messages/action 表1 路径参数 参数 是否必选 参数类型 描述

查看更多 →

10000条消息且所有消息的总大小不超过200MB，最多返回符合关键字的前10条消息。查询超大消息（即单条消息超过20KB）或时间跨度大的消息时，建议将消息下载到本地，在本地进行关键字查询。 创建时间 设置待查询消息的时间范围。 说明： 当Topic中的数据量比较大时，单副本To

查看更多 →

之前开始向新增加的分区发送消息，从而导致部分消息丢失。 删除Kafka消息 登录管理控制台。 在管理控制台左上角单击，选择Kafka实例所在的区域。 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka专享版页面。 在左侧导航栏

查看更多 →