数据迁移 进行IP交换 创建备份导入任务 查询迁移任务列表 删除数据迁移任务 查询迁移任务详情 设置迁移任务自动重连 停止数据迁移任务 查询在线迁移进度明细 创建在线数据迁移任务 配置在线数据迁移任务 批量停止数据迁移任务 同步停止数据迁移任务 查询迁移日志列表 父主题： API

查看更多 →

数据迁移 概述 实例管理 连接管理 映射管理 作业管理 GDS-Kafka数据接入

查看更多 →

数据迁移 迁移介绍 迁移评估 场景一：数据中心自建MySQL迁移到DDM 场景二：其他云MySQL迁移到DDM 场景三：华为云上自建MySQL迁移到DDM 场景四：从DDM实例导出数据 场景五：其他异构数据库迁移到DDM 场景六：从华为云RDS for MySQL迁移到DDM

查看更多 →

数据迁移 数据库与存储迁移 数据库迁移 由运维或者开发人员基于华为云数据复制服务DRS完成数据库迁移，详情请参见跨云数据库在线迁移。 存储迁移 由运维或者开发人员基于华为云对象存储迁移服务 OMS 完成对象存储中的数据迁移，详情请参见对象存储迁移服务 OMS。 目前对象存储迁移服务O

查看更多 →

数据迁移 迁移方案概览 通过数据复制服务迁移数据 通过mongoexport和mongoimport工具迁移数据 通过mongodump和mongorestore工具迁移数据 父主题： 用户指南

查看更多 →

数据迁移 数据迁移方案介绍 数据迁移到 MRS 前信息收集 数据迁移到MRS前网络准备 数据迁移常见端口要求 Hadoop数据迁移到华为云MRS服务 HBase数据迁移到华为云MRS服务 Hive数据迁移到华为云MRS服务 使用BulkLoad向HBase中批量导入数据 MySQL数据迁移到MRS集群Hive分区表

查看更多 →

数据迁移 迁移说明 通过云专线迁移 使用公网迁移 文件系统之间迁移数据 父主题： 其他操作

查看更多 →

数据迁移 迁移方案概览 通过数据复制服务迁移数据 通过mongoexport和mongoimport工具迁移数据 通过mongodump和mongorestore工具迁移数据

查看更多 →

数据迁移 DRS上找不到GeminiDB Redis链路 报错ERR the worker queue is full, and the request cannot be excecuted 报错ERR the request queue of io thread is full

查看更多 →

数据迁移 数据迁移概览 迁移Hive数据至 DLI 迁移Kafka数据至DLI 迁移Elasticsearch数据至DLI 迁移RDS数据至DLI 迁移DWS数据至DLI

查看更多 →

查询、写入以及数据压缩的性能。 本章节主要介绍社区版InfluxDB到GeminiDB Influx的迁移方案。 迁移原理 通过迁移工具解析社区版InfluxDB的tsm以及wal文件写入到行协议（Line Protocal）文件中，最终将行协议文件数据解析并迁移至目标端。 整个迁移过程分为导出和导入阶段两个阶段。

查看更多 →

数据迁移 Redis数据迁移方案概览 迁移后Redis数据一致性校验 阿里云数据库Redis/Tair到GeminiDB Redis的迁移 腾讯云Redis到GeminiDB Redis的迁移 自建Redis到GeminiDB Redis的迁移 RDB通过迁移工具到GeminiDB

查看更多 →

数据迁移 迁移方案总览 使用DRS迁移 GaussDB (for MySQL)数据 使用mysqldump迁移GaussDB(for MySQL)数据

查看更多 →

数据迁移 根据迁移配置，华为云OMS服务会开始从源端存储系统拉取数据。同时，服务会确保数据的完整性和一致性，避免在迁移过程中出现数据丢失或损坏的情况。服务还支持断点续传功能，当迁移过程中出现网络中断或其他异常情况时，服务可以从断点处恢复传输，确保数据的完整性和迁移的连续性。 父主题：

查看更多 →

预训练数据处理 训练前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 Alpaca数据处理 数据预处理脚本preprocess_data.py存放在代码包的“llm_train/AscendSpeed/ModelLink/”目录中，脚本样例命令及参数详解如下，详细执行步骤请参考下一段落。

查看更多 →

预训练数据处理 训练前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 Alpaca数据处理 数据预处理脚本preprocess_data.py存放在代码包的“llm_train\AscendSpeed\ModelLink\”目录中，脚本具体内容如下。 cd

查看更多 →

预训练数据处理 训练前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 这里以Llama2-70B为例，对于Llama2-7B和Llama2-13B，操作过程与Llama2-70B相同，只需修改对应参数即可。 Alpaca数据处理 数据预处理脚本preprocess_data

查看更多 →

预训练数据处理 训练前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 这里以Qwen-14B为例，对于Qwen-7B和Qwen-72B，操作过程与Qwen-14B相同，只需修改对应参数即可。 Alpaca数据处理 数据预处理脚本preprocess_data

查看更多 →

预检查 为了避免分片变更失败，请您最晚在变更前一天完成以下内容的检查。 预检查内容 表1 预检查内容 检查内容 检查目的 检查未通过解决方案 表名长度检查 分片变更需要数据重分布时（例如：增加分片），会创建临时表，临时表的表名长度会略长于原表名，需确保临时表的表名长度不超过MySQL限制。

查看更多 →

在源库选择需要同步的数据库和表。本次实践中选择“test”中所有的表。 选择完成后，可以设置同步后是否重新命名库名和表名。 单击“下一步”。 高级设置：全量设置中“同步对象类型”仅勾选“同步数据”。 数据加工（可选，根据实际需求设置）。 预检所有配置完成后，进行预检查，确保迁移成功。对于未

查看更多 →

预训练 预训练数据处理 预训练任务 断点续训练 查看日志和性能 父主题： LLama2系列（PyTorch）基于DevServer训练指导

查看更多 →