支持以下三种投递策略将源端的数据按规则同步到Kafka Topic的特定Partition： 全部投递到Partition 0。 按库名+表名的hash值投递到不同Partition。 按表的主键值hash值投递到不同的Partition。 源端无主键情况下，目的端默认投递到partition

查看更多 →

步骤2：创建连接 操作场景 迁移MySQL数据库到 数据仓库 服务DWS前，需要创建两个连接： MySQL连接： CDM 连接RDS for MySQL实例。 DWS连接：CDM连接DWS集群。 前提条件 已拥有RDS for MySQL实例，已获取连接MySQL数据库的数据库名称、用户名、密码，

查看更多 →

将 GaussDB (for MySQL)同步到GaussDB(DWS) 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 GaussDB(for MySQL)主备实例 GaussDB(DWS)集群 使用须知 在创建同步任务前，请务必阅读以下使用须知。 建议创建单独用于

查看更多 →

MySQL到DMS Kafka参数调优 源端优化 MySQL抽取优化 可通过在作业任务配置参数单击中“添加自定义属性”来新增MySQL同步参数。 图1 添加自定义属性 可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan.incremental

查看更多 →

MySQL到 MRS Hudi参数调优 源端优化 MySQL抽取优化 可通过在作业任务配置参数单击中“添加自定义属性”来新增MySQL同步参数。 图1 添加自定义属性 可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan.incremental.snapshot

查看更多 →

即当脏数据超过指定条数时，任务失败退出。 否 脏数据策略 “是否写入脏数据”为是时显示该参数，当前支持以下策略： 不归档：不对脏数据进行存储，仅记录到任务日志中。 归档到OBS：将脏数据存储到OBS中，并打印到任务日志中。 不归档 脏数据写入连接 “脏数据策略”选择归档到OBS时显示该参数。

查看更多 →

议您使用恢复到指定时间点功能进行恢复，具体请参考GaussDB(for MySQL)全量数据恢复：恢复到指定时间点。 操作步骤 登录管理控制台。 单击管理控制台左上角的，选择区域和项目。 在页面左上角单击，选择“数据库 > 云数据库 GaussDB(for MySQL)”。 在“

查看更多 →

对系统的影响 Hive默认数据仓库的权限被修改，会影响当前用户，用户组，其他用户在默认数据仓库中创建库、创建表等操作的操作权限范围；会扩大或缩小权限。 可能原因 Hive定时查看默认数据仓库的状态，发现Hive默认数据仓库权限发生更改。 处理步骤 检查Hive默认数据仓库权限情况。 以ro

查看更多 →

当前实例：将所选时间点的备份恢复到原实例上。 图3 恢复到当前实例 选择恢复到“当前实例”，勾选确认信息，单击“下一步”。 核对任务信息，无误后单击“确定”。 恢复到当前实例会将当前实例上的数据全部覆盖，并且恢复过程中数据库不可用，请在业务低峰期进行恢复。 已有实例：将所选时间点的备份恢复到已有的非原实例上。

查看更多 →

恢复FlexusRDS for MySQL全量数据到指定时间点 操作场景 FlexusRDS for MySQL支持使用已有的自动备份，恢复实例数据到指定时间点。 实例恢复到指定时间点，会从OBS备份空间中选择一个该时间点最近的全量备份下载到实例上进行全量恢复，再重放增量备份到指定时间点，恢复时

查看更多 →

上传数据到OBS 操作场景 从OBS导入数据到集群之前，需要提前准备数据源文件，并将数据源文件上传到OBS。如果您的数据文件已经在OBS上了，则只需完成上传数据到OBS中的2~3。 准备数据文件 准备需要上传到OBS的数据源文件。GaussDB(DWS)只支持 CS V、TEXT、O

查看更多 →

导出数据到OBS 关于OBS并行导出 导出CSV、TXT数据到OBS 导出ORC数据到OBS 父主题： 导出数据

查看更多 →

MySQL相同版本的MySQL客户端。 MySQL客户端自带mysqldump和mysql工具。 MySQL系统库mysql和sys不支持导入到FlexusRDS for MySQL。 导出数据 要将源数据库迁移到FlexusRDS for MySQL，需要先对其进行导出。 相应导出工具需要与数据库引擎版本匹配。 数

查看更多 →

HCIA-IoT 培训与认证在IoT领域具备基于华为物联网解决方案架构实现端到端物联网业务开发的工程师。 通过HCIA-IoT认证，您将掌握物联网基础知识、华为物联网解决方案基础架构，并能够基于此运维和开发，同时具备基于该架构实现端到端业务的开发能力，胜任物联网运维/开发工程师岗位。 HCIP-IoT

查看更多 →

新建作业”，开始创建从MySQL导出数据到OBS的任务。 图6 创建MySQL到OBS的迁移任务 作业名称：用户自定义便于记忆、区分的任务名称。 源端作业配置 源连接名称：选择创建MySQL连接中的“mysqllink”。 使用SQL语句：否。 模式或表空间：待抽取数据的模式或表空间名称。

查看更多 →

单击“数据源 > 新建数据源”，进入新建数据源页面，源库类型选择MySQL，接入网络类型选择云数据库 RDS。 填写其他参数，参数说明如表2所示。 图2 MySQL云数据源参数 表2 参数说明 参数名称 是否必填 说明 源库类型 是 接入的数据源类型，本示例为MySQL。更多数据源类型连接请参考表1。

查看更多 →

建、查询和维护数据仓库所需的信息。 数据库基本操作 创建和管理数据库 创建和管理表 管理用户及权限 配置GUC参数 用户自定义函数 PostGIS空间数据库扩展 全文检索 SQL语法参考 存储过程 系统表和视图 导入/导出数据 从OBS导入数据到集群 并行导出数据到OBS 使用GDS从远端 服务器 导入数据

查看更多 →

通过Sqoop读取MySQL数据并写parquet文件到OBS时失败 用户问题 通过Sqoop读取MySQL数据，然后直接写到OBS，指定parquet格式时写入报错，不指定parquet时不报错。 问题现象 原因分析 parquet格式不支持hive3，用Hcatalog方式写入。

查看更多 →

托管服务通信的代理。 数据库名 单击“获取数据库”，在列表框中选择数据库。 填写完数据源信息后，单击“确定”即可完成MySQL数据连接的添加。 使用MySQL数据源 您可以参考使用数据仓库服务（DWS）数据源，配置使用MySQL数据源。 父主题： 新建数据连接

查看更多 →

创建MySQL数据库 应用场景 MySQL是目前最受欢迎的开源数据库之一，其性能卓越，搭配LAMP（Linux + Apache + MySQL + Perl/PHP/Python），成为WEB开发的高效解决方案。 本教程将指导您如何通过Terraform脚本创建一个RDS for

查看更多 →

COPY模式：将源数据经过DWS管理节点后复制到数据节点。如果需要通过Internet访问DWS，只能使用COPY模式。 COPY 单击“保存”完成创建连接。 创建迁移作业 选择“表/文件迁移 > 新建作业”，开始创建从MySQL导出数据到DWS的任务。 图4 创建MySQL到DWS的迁移任务

查看更多 →