参数值过小，可能会导致数据迁移失败。 待确认提示及处理建议 待确认原因：DRS在迁移数据量大或迁移大字段情况下，源库max_allowed_packet参数过小可能会导致任务失败。 处理建议：请修改源库max_allowed_packet参数值，使其大于16777216。 父主题：

查看更多 →

10亿级数据量场景的解决方案有哪些？ 问： 10亿级数据量场景的解决方案有哪些？ 答： 有数据更新、联机事务处理OLTP、复杂分析的场景，建议使用云数据库 GaussDB (for MySQL)。 MRS 的Impala + Kudu也能满足该场景，Impala + Kudu可以在j

查看更多 →

对于RDS for MySQL、RDS for MariaDB实例： 单机和主备实例的创建时间都在5~7分钟之间。 只读实例与主实例或备实例同AZ，并且只读实例非本地SSD盘时，只读实例的创建时间为15分钟左右；其他情况下，只读实例的创建时间与主实例的数据量有关，数据量越大，创建时间越长。

查看更多 →

使用mysqldump导出大表的注意事项 在使用mysqldump导出数据时，倘若添加–q(--quick) 参数时，select出来的结果将不会存放在缓存中，而是直接导出到标准输出中。如果不添加该参数，则会把select的结果放在本地缓存中，然后再输出给客户端。 如果只是备份小

查看更多 →

上传至OBS桶中的业务数据写入Kafka，同时在RDS创建数据结果表模板。 用户可以购买并配置 数据可视化 DLV 大屏，快速定制数据大屏，将RDS中分析结果数据展示在大屏中。 方案优势 跨源分析 数据免搬迁，就可以关联分析存在OBS中的各个渠道的销售汇总数据。 纯SQL操作 DLI

查看更多 →

Flink SQL作业的消费能力如何，即一天可以处理多大的数据量？ Flink SQL作业的消费能力与源端的数据发送、队列大小、作业参数配置均有关系，每秒10M峰值。 父主题： Flink SQL作业相关问题

查看更多 →

迁移Mysql到DWS报错“Lost connection to MySQL server during query”怎么处理？ 问题描述 Mysql-TO-DWS迁移过程中，报错“ GENERIC_JDBC_CONNECTOR_0904:ERROR occurs while retrieving

查看更多 →

业务中断影响较大 适合小型数据量 使用mysqldump迁移GaussDB(for MySQL)数据 DAS 支持全量数据迁移 业务中断影响较大 适合中型数据量 使用DAS导出导入功能迁移GaussDB(for MySQL)数据 本地自建MySQL数据库 E CS 自建MySQL数据库 DRS 支持全部数据、库级或表级数据迁移

查看更多 →

本实践使用华为云 CDM 服务将Hadoop集群中的数据（支持数据量在几十TB级别或以下的数据量级）迁移到华为云MRS服务。 HBase数据迁移到华为云MRS服务 本实践使用华为云CDM服务将HBase集群中的数据（支持数据量在几十TB级别或以下的数据量级）迁移到华为云MRS服务。HBase会把数

查看更多 →

如图6所示，选择开发场景为“大屏”，单击右侧区域的“开发”，进入到配置的AppCube大屏开发环境。 图6 进入大屏开发环境 如果使用系统默认提供开发环境，进入到默认环境的业务大屏。 如果使用配置的开发环境，进入到配置的开发地址，配置的地址不是直接进入业务大屏，参见下图进入业务大屏。 如图7所示，单击“导入项目包”。

查看更多 →

MySQL到MySQL 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 ECS自建MySQL 5.6、5.7、8.0版本 本地自建MySQL 5.6、5.7、8.0版本 其他云上MySQL 5.6、5.7、8.0版本 RDS for MySQL 数据库账号权限要求

查看更多 →

MySQL到MySQL 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 RDS for MySQL RDS for MySQL 数据库账号权限要求 使用DRS创建录制回放任务时，连接源和目标数据库账号的权限建议保持一致，再启动任务。 使用须知 为了确保录制回放任务

查看更多 →

MySQL迁移时报错“JDBC连接超时”怎么办？ 问题描述 MySQL迁移时报错：Unable to connect to the database server. Cause: connect timed out. 原因分析 这种情况是由于表数据量较大，并且源端通过where语

查看更多 →

索引长度说明 引擎 MySQL版本 字符集 最大字节数 单字段索引最大字符数 联合索引合计最大字符数 InnoDB MySQL 5.7.6及以下版本 UTF8MB4 4 191 768 MySQL 5.7.7及以上版本 UTF8MB4 4 768 768 索引超长的处理方法 方法一 不迁移含有超长索引的表。

查看更多 →

得到需要优化的查询后，您可以使用华为云数据管理服务（Data Admin Service，简称DAS），通过SQL诊断查询，您可获知资源消耗大、执行耗时长、执行次数频繁的SQL语句。可根据诊断建议进行优化，保持数据库性能的稳定性。 登录到数据管理服务控制台。 在左侧导航栏，选择“DBA智能运维

查看更多 →

时就会造成kafka不可用。 原因分析 需要提前干预处理磁盘数据，全局的log.retention.hours修改需要重启服务。为了不断服，可以将数据量大的单个topic老化时间根据需要改短。 处理步骤 登录Kafka集群的流式Core节点。 执行df -h命令查看磁盘使用率。

查看更多 →

看成子问题的解的合并。对于大容量数据场景，数据库提供对数据进行“分治处理”的方式即分区，将逻辑数据库或其组成元素划分为不同的独立部分，每一个分区维护逻辑上存在相类似属性的数据，这样就把庞大的数据整体进行了切分，有利于数据的管理、查找和维护。 父主题： 大容量数据库

查看更多 →

看成子问题的解的合并。对于大容量数据场景，数据库提供对数据进行“分治处理”的方式即分区，将逻辑数据库或其组成元素划分为不同的独立部分，每一个分区维护逻辑上存在相类似属性的数据，这样就把庞大的数据整体进行了切分，有利于数据的管理、查找和维护。 父主题： 大容量数据库

查看更多 →

恢复到云上MySQL：通过备份文件恢复数据，详见恢复到云上MySQL数据库。 迁移到云上MySQL：使用DRS、mysqldump、DAS迁移数据，详见迁移方案总览。 恢复/迁移到自建MySQL 恢复到自建MySQL：使用备份文件恢复到自建库，详见恢复到自建MySQL数据库。 迁移到

查看更多 →

数据增强：您可以通过一些规则来提升数据的多样性，比如：同义词替换、语法结构修改、标点符号替换等，保证数据的多样性。 基于大模型的数据泛化：您可以通过调用大模型（比如盘古提供的任意一个规格的基础功能模型）来获取目标场景的数据，以此提升数据质量。一个比较常见的方法是，将微调数据以及

查看更多 →

避免集群性能受限。 大规格三节点： 如果需要处理大量数据、需要高性能计算，但可以承受较高的成本，可以选择大规格三节点集群。 例如，规格为32核256G的大规格集群（dws2.m6.8xlarge.8），拥有更快的CPU处理能力和更大的内存容量，可以更快速地处理数据。但是三节点的集群节点数量有限，高并发场景下性能较差。

查看更多 →