Flink作业实时同步MySQL数据至( GaussDB )DWS集群 本实践演示如何使用华为云 DLI 服务的Flink作业，将MySQL数据实时同步到GaussDB(DWS)。 了解DLI请参见数据湖产品介绍。 本实践预计时长60分钟，实践用到的云服务包括虚拟私有云 VPC及子网、云数据库 RDS、 数据湖探索

查看更多 →

DWS数据库的端口，默认为：8000。 数据库名称 当前需要迁移的DWS数据库名称。当前示例为DWS集群上创建数据库和表中创建的数据库“testdwsdb”。 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限，以及对元数据的读取权限。 本示例使用创建DWS数据库实例的默认管理员用户“dbadmin”。

查看更多 →

选参数保持默认即可。 表2 DWS连接参数 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 dwslink 数据库服务器 DWS数据库的IP地址或 域名 。 192.168.0.3 端口 DWS数据库的端口。 8000 数据库名称 DWS数据库的名称。 db_demo 用户名

查看更多 →

密密钥 (CEK)、数据库加密密钥 (DEK)。 主密钥用于给CEK加密，保存在KMS中。 CEK用于加密DEK，CEK明文保存在DWS集群内存中，密文保存在DWS服务中。 DEK用于加密数据库中的数据，DEK明文保存在DWS集群内存中，密文保存在DWS服务中。 密钥使用流程如下：

查看更多 →

GaussDB(DWS)数据脱敏 GaussDB(DWS)提供列级别的数据脱敏(Dynamic Data Masking)功能。针对某些敏感信息（如身份证号、手机号、银行卡号等），通过应用脱敏函数进行原始数据的变形改写，实现敏感隐私数据的可靠保护，从而增强产品在数据安全和隐私保护方面的能力。

查看更多 →

数据仓库 服务GaussDB(DWS)接入LTS 支持数据仓库GaussDB（DWS）日志接入LTS。 具体接入方法请参见集群日志管理。 父主题： 使用云服务接入LTS

查看更多 →

选择“全量+增量”同步模式，增量同步可以在全量同步完成的基础上实现数据的持续同步，无需中断业务，实现同步过程中源业务和数据库继续对外提供访问。 “全量”： 该模式为数据库一次性同步，全量同步将源库数据一次性同步至目标端数据库。 “增量”： 增量同步通过解析日志等技术，将源端产生的增量数据同步至目标端。 指定公网IP

查看更多 →

新建DWS数据连接 连接DWS前，需要满足以下条件： 已获取DWS数据源的地址、端口、用户名和密码。 为了使 DLV 大屏与DWS服务网络互通，您需要使用云数据迁移（ CDM ）集群作为网络代理。请确保在CDM服务中已有可用的集群，且CDM集群与DWS数据源必须处在相同的区域、可用区和V

查看更多 →

插入数据至DWS表 功能描述 INSERT INTO命令将DLI表中的数据插入到已关联的指定DWS表中。 语法格式 将SELECT查询结果插入到表中： 1 2 3 4 5 6 7 INSERT INTO DLI_TABLE SELECT field1,field2... [FROM

查看更多 →

选择界面左侧导航栏中的“连接器管理 > 数据源管理”，进入“数据源管理”界面。 单击数据源列表上方“新增数据源”，进入“新增数据源”界面，设置DWS数据源的基本信息，具体参数如表1所示。 表1 参数说明 参数 说明 数据源类型 DWS：DWS是一种基于华为云基础架构和平台的在线数据处理数据库。 数据源名称 自

查看更多 →

接入DWS数据源 概述 ROMA Connect支持把DWS（数据仓库服务）作为一个数据源，并用于数据集成任务或用于创建数据API。在使用DWS数据源前，您需要先接入数据源。 请使用PostgreSQL数据源类型来对接DWS数据库（DWS数据源类型不推荐使用，但因历史原因，暂不下线）。

查看更多 →

选参数保持默认即可。 表2 DWS连接参数 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 dwslink 数据库服务器 DWS数据库的IP地址或域名。 192.168.0.3 端口 DWS数据库的端口。 8000 数据库名称 DWS数据库的名称。 db_demo 用户名

查看更多 →

插入数据至DWS表 功能描述 INSERT INTO命令将DLI表中的数据插入到已关联的指定DWS表中。 语法格式 将SELECT查询结果插入到表中： 1 2 3 4 5 6 7 INSERT INTO DLI_TABLE SELECT field1,field2... [FROM

查看更多 →

模型采集 > 数据源”，单击“创建数据源”，进入创建数据源页面。接着选择“DWS”类型的数据源，创建方式选择 “创建数据源”，然后在数据源输入框中输入数据源名称。 在页面中配置数据源的连接信息，如下表所示。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称，根据

查看更多 →

填写数据源的描述信息。 数据湖分层 选择对应的数据湖分层：业务数据层/操作数据层/明细数据层/数据汇总层/数据集市层/应用数据层/贴源数据层。 是否使用JDBC字符串 选择连接数据库模式。 否：由系统根据用户配置自动拼接数据源连接字符串。 是：由用户自己输入数据源连接字符串。 连接地址

查看更多 →

选参数保持默认即可。 表2 DWS连接参数 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 dwslink 数据库服务器 DWS数据库的IP地址或域名。 192.168.0.3 端口 DWS数据库的端口。 8000 数据库名称 DWS数据库的名称。 db_demo 用户名

查看更多 →

GaussDB(DWS)数据脱敏 GaussDB(DWS)提供列级别的数据脱敏(Dynamic Data Masking)功能。针对某些敏感信息（如身份证号、手机号、银行卡号等），通过应用脱敏函数进行原始数据的变形改写，实现敏感隐私数据的可靠保护，从而增强产品在数据安全和隐私保护方面的能力。

查看更多 →

o object 表同步配置信息。 表4 ChDatabaseConfigsInfo 参数 是否必选 参数类型 描述 param_name 是 String 库同步配置参数名。可通过“查询数据同步的库参数配置”接口查询。 value 是 String 库同步配置参数值。 表5 C

查看更多 →

停止修改数据同步 功能介绍 停止修改数据同步。 调用方法 请参见如何调用API。 URI DELETE /v3/{project_id}/instances/{instance_id}/clickhouse/databases/replication/config 表1 路径参数

查看更多 →

xDM-F数据同步 数据同步功能使用指引 数据同步规则说明 xDM-F同步任务 实例调度任务

查看更多 →

数据对比（对比同步项） 对比使用场景 对比实时同步项可以清晰反馈出源数据库和目标数据库的数据是否存在差异。为了尽可能减少业务的影响和业务中断时间，实时同步场景提供了以下几种对比方式： 对象级对比：支持对数据库、索引、表、视图、存储过程和函数、表的排序规则等对象进行对比。 数据级对比分为行对比和内容对比。

查看更多 →