源表：源表是Flink作业的数据输入表，例如Kafka等实时流数据输入。 维表：数据源表的辅助表，用于丰富和扩展源表的数据。在Flink作业中，因为数据采集端采集到的数据往往比较有限，在做数据分析之前，就要先将所需的维度信息补全，而维表就是代表存储数据维度信息的数据源。常见的用户维表有 MySQL，Redis等。

查看更多 →

全量+增量数据迁移支持以下方式： 副本集到副本集 副本集到集群 集群到集群 将MongoDB迁移到GeminiDB Mongo DDS 本地自建Mongo数据库 E CS 自建Mongo数据库 其他云上Mongo数据库 全量数据迁移 全量+增量数据迁移 将DDS迁移到MongoDB DDM DDM 全量数据迁移 全量+增量数据迁移

查看更多 →

从MySQL CDC源表读取数据写入到DWS 本指导仅适用于Flink 1.12版本。 场景描述 CDC是变更数据捕获（Change Data Capture）技术的缩写，它可以将源数据库的增量变动记录，同步到一个或多个数据目的中。CDC在数据同步过程中，还可以对数据进行一定的处理，例如分组（GROUP

查看更多 →

万到数百万之间。 保持稳定的低时延 媒体侧要求广告主在40-100ms内返回决策结果，数据库需要在个位数毫秒内执行完请求。 降低业务成本 为了追求极致的性能体验，RTA业务通常使用开源自建Redis，然而TB级别数据存储成本非常昂贵，成本也是广告主选型的重要考虑因素。 在广告RT

查看更多 →

MySQL同步到 GaussDB 主备版 MySQL同步到GaussDB分布式 Oracle同步到MySQL Oracle同步到GaussDB主备版 Oracle同步到GaussDB分布式 PostgreSQL同步到PostgreSQL主备版 PostgreSQL同步到GaussDB主备版

查看更多 →

写入数据 写入数据接口和HBase原生API一致。 样例代码 public void testPut() { LOG .info("Entering testPut."); try(Table table = conn.getTable(tableName)) { List<Put>

查看更多 →

数据写入 写入更新数据时报错 Parquet/Avro schema 写入更新数据时报错UnsupportedOperationException 写入更新数据时报错SchemaCompatabilityException Hudi在upsert时占用了临时文件夹中大量空间 Hudi写入小精度Decimal数据失败

查看更多 →

全量数据迁移 全量+增量数据迁移支持以下方式： 副本集到单节点 副本集到副本集 副本集到集群 单节点到单节点 单节点到副本集 单节点到集群 MySQL分库分表为源迁移方案 表4 数据库信息 源数据库引擎 源数据库类型和版本 目标数据库类型和版本 迁移类型 MySQL分库分表 DDM DDM

查看更多 →

内存加速是GeminiDB Redis为了优化“传统被动缓存方案”而推出的功能，它可以让用户通过界面配置规则的形式，自动缓存MySQL的数据，加速MySQL的访问。 如下图图1所示，“传统被动缓存方案”需要用户自行开发代码把MySQL中的数据写入到缓存中，存在效率低、不可靠的缺点。而采用云数据内存加速

查看更多 →

GeminiDB Redis 腾讯云Redis到GeminiDB Redis的迁移 3 自建Redis/Codis GeminiDB Redis 自建Redis到GeminiDB Redis的迁移 4 RDB GeminiDB Redis RDB文件恢复到GeminiDB Redis(推荐) 5

查看更多 →

内存加速是GeminiDB Redis为了优化“传统被动缓存方案”而推出的功能，它可以让用户通过界面配置规则的形式，自动缓存MySQL的数据，加速MySQL的访问。 如下图图1所示，“传统被动缓存方案”需要用户自行开发代码把MySQL中的数据写入到缓存中，存在效率低、不可靠的缺点。而采用云数据内存加速

查看更多 →

Kafka数据库端口”，单击“测试”测试 DLI 到Kafka网络是否可达。 创建DLI连接RDS的增强型跨源连接 在RDS管理控制台，选择“实例管理”，单击对应的RDS实例名称，进入到RDS的基本信息页面。 在“基本信息”的“连接信息”中获取该实例的“内网地址”、“数据库端口”、“

查看更多 →

Kafka内网地址:Kafka数据库端口”，单击“测试”测试DLI到Kafka网络是否可达。 创建DLI连接DWS的增强型跨源连接 在DWS管理控制台，选择“集群管理”，单击已创建的DWS集群名称，进入到DWS的基本信息页面。 在“基本信息”的“数据库属性”中获取该实例的“内网I

查看更多 →

通过DRS将MySQL表数据实时同步到GaussDB(DWS) 本实践演示通过华为云数据复制服务（Data Replication Service，简称DRS）完成MySQL数据实时同步到GaussDB(DWS)的基本过程。了解DRS服务，请参见什么是数据复制服务。 本实践预计时长60分钟，基本流程如下：

查看更多 →

对应源数据库取值（db_type） 对应目标数据库取值（db_type） mysql MySQL到MySQL迁移、MySQL到MySQL同步场景使用。 mysql mysql mongodb MongoDB到DDS迁移场景使用。 mongodb mongodb redis-to-gaussredis

查看更多 →

MySQL到MySQL 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 RDS for MySQL RDS for MySQL 数据库账号权限要求 使用DRS创建录制回放任务时，连接源和目标数据库账号的权限建议保持一致，再启动任务。 使用须知 为了确保录制回放任务

查看更多 →

MySQL到MySQL 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 ECS自建MySQL 5.6、5.7、8.0版本 本地自建MySQL 5.6、5.7、8.0版本 其他云上MySQL 5.6、5.7、8.0版本 RDS for MySQL 数据库账号权限要求

查看更多 →

写入OpenTSDB数据 功能简介 使用OpenTSDB的接口(/api/put)写入数据。 函数genWeatherData()模拟生成的气象数据，函数putData()发送气象数据到OpenTSDB服务端。 样例代码 以下代码片段在com.huawei.bigdata.opentsdb

查看更多 →

将Redis作为应用与数据库之间的缓存层可以解决上述问题，通过Redis缓存数据，提高数据读取速度，减轻数据库负载，提高应用性能，保证数据的可靠性。 因此，对于传统的关系型数据库例如MySQL，可以将其数据迁移到Redis中。Redis中的数据是以键值结构进行存储的，在迁移前需要将传统的数

查看更多 →

MySQL到GaussDB(for MySQL) 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 ECS自建MySQL 5.6、5.7、8.0版本 本地自建MySQL 5.6、5.7、8.0版本 其他云上MySQL 5.6、5.7、8.0版本 GaussDB(for

查看更多 →

MySQL到GaussDB(for MySQL) 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 RDS for MySQL GaussDB(for MySQL)主备实例 数据库账号权限要求 使用DRS创建录制回放任务时，连接源和目标数据库账号的权限建议保持一致，再启动任务。

查看更多 →