流式写入Hudi表 本章节仅适用于 MRS 3.3.1-LTS及之前版本。 HoodieDeltaStreamer流式写入 Hudi自带HoodieDeltaStreamer工具支持流式写入，也可以使用SparkStreaming以微批的方式写入。HoodieDeltaStreamer提供以下功能：

查看更多 →

RDS for MySQL执行SQL报错无法识别双引号 场景描述 RDS for MySQL执行SQL语句识别不到双引号。 原因分析 查看实例的“sql_mode”参数值包含“ANSI_QUOTES”。 启用“ANSI_QUOTES”后，双引号会被视为标识符引号字符。更多内容，详见sql_mode官方文档。

查看更多 →

不同，详细可参考规格说明，当源库数据写入量过大达到瓶颈时，就会导致任务出现延迟。 原因5：目标库规格受限，达到写入瓶颈。以目标实例为RDS for MySQL为例，用户可以在RDS控制台查看数据库性能指标。 原因6：可能存在热点更新。无主键表的写入会导致热点更新，源库对单一表或单

查看更多 →

ERT快。当数据源不包含更新数据时建议使用该操作，如果数据源中存在更新数据，则在数据湖中会出现重复数据。 BULK_INSERT（批量插入）：用于初始数据集加载， 该操作会对主键进行排序后直接以写普通parquet表的方式插入Hudi表，该操作性能是最高的，但是无法控制小文件，而

查看更多 →

HBase集群写入数据大小不能超过多少？ 问题现象 HBase集群大规模并行写入数据时，写入数据到一半卡住，无法写入数据。 原因分析 数据迁移单个请求写入数据太大，导致报错。 处理方法 建议单次写入不超过2M，单条不超过200k。 父主题： 数据读写类

查看更多 →

缓存单个分片的数据，此时分片越大，占用内存越多，引发内存溢出，在此场景下，可以考虑降低分片大小。 scan.snapshot.fetch.size int 1024 全量阶段抽取数据时，从Mysql侧单次请求抽取数据的最大条数，适当增加请求条数可以减少对Mysql的请求次数提升性能。

查看更多 →

Streaming从Kafka读取数据再写入HBase 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

写入更新数据时报错Parquet/Avro schema 问题 数据写入时报错： org.apache.parquet.io.InvalidRecordException: Parquet/Avro schema mismatch: Avro field 'col1' not found

查看更多 →

文件系统写入失败 现象描述 仅挂载至一种 服务器 系统的文件系统出现写入数据失败的情况。 可能原因 服务器的安全组配置不正确，需要与文件系统通信的端口未开放。 定位思路 前往安全组控制台查看目标服务器的端口开放情况，并正确配置。 解决方法 登录 弹性云服务器 控制台。 登录管理控制台。

查看更多 →

RDS for MySQL 5.7测试数据 通用型测试数据 独享型测试数据 鲲鹏通用增强型测试数据 父主题： RDS for MySQL

查看更多 →

创建 GaussDB (for MySQL)数据库 操作场景 云数据库 GaussDB(for MySQL)实例创建成功后，您可以根据业务需要，创建更多的数据库。 使用须知 处于变更中的实例，不可进行该操作。 数据库创建完成后不支持修改库名。 方法一：通过GaussDB(for MySQL)控制台创建数据库

查看更多 →

GaussDB(for MySQL)跨区域数据恢复 操作场景 GaussDB(for MySQL)支持跨区域备份，当原区域实例发生故障时，可以通过该备份文件将数据恢复到备份所在区域的新实例上。 前提条件 已完成跨区域备份，具体操作请参见跨区域备份GaussDB(for MySQL)。 操作步骤

查看更多 →

MySQL到MySQL 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 RDS for MySQL RDS for MySQL 数据库账号权限要求 使用DRS创建录制回放任务时，连接源和目标数据库账号的权限建议保持一致，再启动任务。 使用须知 为了确保录制回放任务

查看更多 →

MySQL到MySQL 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 E CS 自建MySQL 5.6、5.7、8.0版本 本地自建MySQL 5.6、5.7、8.0版本 其他云上MySQL 5.6、5.7、8.0版本 RDS for MySQL 数据库账号权限要求

查看更多 →

231100及以上的GaussDB(for MySQL)实例支持开启透明数据加密功能。 仅按需计费实例和包年/包月实例支持开启透明数据加密功能。 仅单机和主备类型的实例支持开启透明数据加密功能。 透明数据加密功能仅支持在创建实例时打开，实例创建成功后不支持打开，且打开后无法关闭。 透明数据加密功能为数据库数据加密，包括全量备份，不包括增量备份。

查看更多 →

DDS集群持续写入数据后查询报错怎么处理 问题描述 DDS集群持续写入数据，写入后查询报错。 示例： W SHARDING [Balancer] Failed to enforce tag ranges :: caused by :: ExceededTimeLimit: Unable

查看更多 →

创建FlinkServer作业写入数据至Doris表 本章节适用于MRS 3.5.0及之后的版本。 操作场景 本章节提供了如何使用FlinkServer将Kafka数据写入到Doris中，和Doris数据和Kafka数据的Lookup Join操作指导。 前提条件 集群中已安装D

查看更多 →

hoodie.bucket.index.num.buckets：Hudi表中每个分区划分桶的个数，每个分区内的数据通过Hash方式放入每个桶内。建表或第一次写入数据时设置后不能修改，否则更新数据会存在异常。 hoodie.bucket.index.hash.field：进行分桶时计算Hash

查看更多 →

SERT快。当数据源不包含更新数据时建议使用该操作，若数据源中存在更新数据，则在数据湖中会出现重复数据。 BULK_INSERT（批量插入）：用于初始数据集加载， 该操作会对主键进行排序后直接以写普通parquet表的方式插入Hudi表，该操作性能是最高的，但是无法控制小文件，而

查看更多 →

流式写入Hudi表 HoodieDeltaStreamer流式写入 Hudi自带HoodieDeltaStreamer工具支持流式写入，也可以使用SparkStreaming以微批的方式写入。HoodieDeltaStreamer提供以下功能： 支持Kafka，DFS多种数据源接入

查看更多 →

击“新建数据连接”。 图1 新建连接 在“新建数据连接”窗口中，选择数据源类型“云数据库 MySQL”，然后配置相关参数。 图2 新建RDS MySQL数据连接 连接RDS MySQL时，相关参数如表1所示。 表1 RDS MySQL数据连接参数 参数名 说明 名称 数据连接的名

查看更多 →