Kafka实时入库到 GaussDB (DWS) 通过 数据湖探索 服务 DLI Flink作业将Kafka的消费数据实时同步至GaussDB(DWS) 数据仓库 ，实现Kafka实时入库到GaussDB(DWS)的过程。 了解DLI请参见 数据湖 产品介绍 。 了解Kafka请参见分布式消息服务Kafka产品介绍。

查看更多 →

创建数据仓库GaussDB(DWS) 参见“创建集群”章节创建GaussDB(DWS)数据仓库。创建成功后，记录集群的内网IP。 为确保E CS 与GaussDB(DWS)网络互通，GaussDB(DWS)数据仓库需要与ECS在同一个区域，同一个虚拟私有云和子网下。 表1 DWS规格

查看更多 →

Hudi 消息系统 DMS Kafka 对象存储：OBS DMS Kafka同步到OBS Apache Kafka Hadoop： MRS Kafka（公测中） 说明： 该链路目前需申请白名单后才能使用。如需使用该链路，请联系客服或技术支持人员。 Apache Kafka同步到MRS

查看更多 →

创建实时迁移任务 实时迁移是指在数据复制服务能够同时连通源数据库和目标数据库的情况下，只需要配置迁移的源、目标数据库实例及迁移对象即可完成整个数据迁移过程，再通过多项指标和数据的对比分析，帮助确定合适的业务割接时机，实现最小化业务中断的数据库迁移。 本文以本地MySQL迁移到云上RDS

查看更多 →

创建实时同步任务 实时同步是指在不同的系统之间，将数据通过同步技术从一个数据源拷贝到其他数据库，并保持一致，实现关键业务的数据实时流动。 本文以本地MySQL同步到云上RDS for MySQL为例，帮助您使用DRS实时同步功能，通过通过创建公网网络类型的全量+增量同步任务，快速

查看更多 →

创建Kafka实例 当前页面API为历史版本API，未来可能停止维护。请使用创建实例。 功能介绍 创建实例，该接口创建的实例为按需计费的方式。 URI POST /v1.0/{project_id}/instances 参数说明见表1。 表1 参数说明 参数 类型 必选 说明 project_id

查看更多 →

客户对存储性能和成本的不同诉求。 分布式消息服务Kafka版（DMS） 分布式消息服务Kafka版（Distributed Message Service for Kafka）是一款基于开源社区版Kafka提供的消息队列服务，具备高效可靠的消息异步传递机制，向用户提供计算、存储和带宽资源独占式的Kafka专享实例。

查看更多 →

创建Kafka实例 本章节介绍创建Kafka实例。 登录华为云控制台。 单击管理控制台左上角的，选择区域“华南-广州”。 单击左侧的服务列表图标，选择“应用中间件 > 分布式消息服务Kafka版”。 单击“购买Kafka实例”。 选择实例区域和可用区。 配置实例名称和实例规格等信息。

查看更多 →

创建Kafka Topic Topic，即消息主题，用于存储消息，供生产者生产消息以及消费者订阅消息。创建Kafka实例成功后，如果没有开启“Kafka自动创建Topic”，需要手动创建Topic。如果实例开启了“Kafka自动创建Topic”，则该操作为可选。 “Kafka自动

查看更多 →

创建Kafka Topic 操作场景 用户可以根据业务需要，使用集群客户端创建Kafka的主题。启用Kerberos认证的集群，需要拥有管理Kafka主题的权限。 前提条件 已安装客户端。 使用Kafka客户端创建Kafka Topic 进入ZooKeeper实例页面： MRS3

查看更多 →

创建Kafka Topic 操作场景 用户可以根据业务需要，使用集群客户端或KafkaUI创建Kafka的主题。启用Kerberos认证的集群，需要拥有管理Kafka主题的权限。 前提条件 已安装客户端。 使用Kafka客户端创建Kafka Topic 进入ZooKeeper实例页面：

查看更多 →

Oracle同步到MRS Hudi 消息系统 DMS Kafka 对象存储：OBS DMS Kafka同步到OBS Apache Kafka Hadoop：MRS Kafka 说明： 该链路目前需申请白名单后才能使用。如需使用该链路，请联系客服或技术支持人员。 Apache Kafka同步到MRS Kafka

查看更多 →

创建实时灾备任务 为了解决地区故障导致的业务不可用，数据复制服务推出灾备场景，为用户业务连续性提供数据库的同步保障。当主实例所在区域发生突发生自然灾害等状况无法连接时，可将异地灾备实例切换为主实例，在应用端修改数据库链接地址后，即可快速恢复应用的业务访问。数据复制服务提供的实时灾

查看更多 →

创建实时隐匿查询作业 实时隐匿查询作业需要由数据查询方创建作业，企业A单击“作业管理 > 隐匿查询 > 实时隐匿查询”页面的创建按钮，填写相关信息，例如： 其中“不可区分度”即为实时隐匿查询的安全级别，不可区分度越高，则安全级别越高，但查询的速度会变慢，传输的数据量也会变大。 企

查看更多 →

通过DLI Flink作业将Kafka数据实时写入DWS 本实践演示通过数据湖探索服务DLI Flink作业将分布式消息服务Kafka的消费数据实时同步至DWS数据仓库，实现Kafka实时入库到DWS的过程。 本实践预计时长90分钟，实践用到的云服务包括 虚拟私有云VPC 及子网、弹

查看更多 →

创建实时预测作业 前提条件 空间组建完成，参考组建空间。 空间成员完成计算节点部署，配置参数时选择挂载方式和数据目录，参考部署计算节点。 空间成员在计算节点中完成数据发布，参考发布数据。 约束限制 避免作业名重复。 必须选择一个已有的FiBiNet模型才能创建实时预测作业。 实时

查看更多 →

数据仓库 华为云数据仓库高级工程师培训 父主题： 培训服务

查看更多 →

创建Kafka权限角色 操作场景 该任务指导MRS集群管理员创建并设置Kafka的角色。 本章节内容适用于MRS 3.x及后续版本。 安全模式集群支持创建Kafka角色，普通模式集群不支持创建Kafka角色。 如果当前组件使用了Ranger进行权限控制，须基于Ranger配置相关

查看更多 →

Kafka实例创建Topic 当前页面API为历史版本API，未来可能停止维护。请使用Kafka实例创建Topic。 功能介绍 该接口用于向Kafka实例创建Topic。 URI POST /v1.0/{project_id}/instances/{instance_id}/topics

查看更多 →

选择已创建的虚拟私有云，如果没有，则需要创建。 安全组 选择已创建的安全组，如果没有，则需要创建。 其他参数 保持默认 图2 创建Kafka实例 单击“立即创建”。等待创建成功。 创建成功后，在Kafka实例列表中，单击创建好的Kafka实例名称，进入基本信息页面。 左侧选择“Topic管理”，单击“创建Topic”。

查看更多 →

否则会影响后续云服务的开通。 已开通设备接入服务。未开通则访问设备接入服务，单击“免费试用”或单击“价格计算器”购买并开通该服务。 已开通Kafka服务。未开通则访问Kafka服务，单击“立即购买”后开通该服务。 已开通数据湖探索服务。未开通则访问数据湖探索服务，单击“立即购买”后开通该服务。

查看更多 →