代理 服务器 的要求 全程无公网迁移场景下，代理服务器需要与目的端服务器处于同一Region、同一VPC下。 源端服务器和代理服务器能够通过专线/VPC/内网等方式进行互通。 代理服务器需要满足源端服务器想要获取的能力。例如：源端是无公网环境，想通过配置代理服务器来访问公网，则需要这台代理服务器有访问公网能力。

查看更多 →

50个字符。 待标注指标数据文件格式要求 待标指标数据文件是指包含时间序列和指标数据的，待标注的原始数据文件。待标注指标数据文件要求如下： 文件必须包含表头，系统默认把第一行数据作为表头数据。 文件数据行数至少两行，第一行为表头，其他行为待标注的时序数据。 不能包含空行或者空列。即某一行没有数据，或者某一列没有数据。

查看更多 →

数据集格式要求 文本类数据集格式要求 图片类数据集格式要求 视频类数据集格式要求 气象类数据集格式要求 预测类数据集格式要求 其他类数据集格式要求 父主题： 使用数据工程构建数据集

查看更多 →

部署要求 本章节描述CloudPond部署要求（包括场地要求和网络要求），请参考每项要求初步评估您的本地数据中心是否适合安装CloudPond设备。 如发现不满足的情况，您可以先进行线上注册边缘小站和提交订单，随后由华为云技术支持团队与您联系沟通场地工勘事宜，您再进行相应整改即可。

查看更多 →

准备训练数据 在创建抽取模型时，需要您提前准备用于训练模型的数据并上传至OBS目录，数据格式为txt文本的自然语言短句。KG服务当前支持的数据类型请参见训练数据类型介绍。 准备数据流程如下： 准备待标注的数据 定义三元组类型（schema） 标注数据 上传至OBS 准备待标注的数据

查看更多 →

名。 数据流：数据流涉及从源端到目的端的数据传输。为确保数据流的畅通，需要检查目的端服务器的安全组配置，确保目的端安全组对源端IP开放了指定的迁移端口。如果源端主机无法直接访问公网或与目的端直接通信，需要配置代理服务器。在这种情况下，需要额外考虑以下因素： 代理服务器的配置，确保它能够正确转发源端主机的流量。

查看更多 →

硬件要求 根据互动教学平台服务智慧教室功能性拓展，满足教室录播、外接摄像机、AV集成等需求，推荐硬件： 老师屏：ideaHub Pro 86寸、OPS硬件配置：i7十代CPU、16G内存、256G SSD。 学生屏：ideaHub Edu 86/65寸、OPS硬件配置：i5八代CPU、8G内存、128G

查看更多 →

软件要求 Ubuntu Version 14.04及以上版本，作为编译Huawei LiteOS的服务器。 GNU Arm Embedded Toolchain编译器，用于代码编译。 GNU Make构建器，用于文件组织与链接。 python 2.7/3.2+，pip包管理工具，

查看更多 →

台E CS 服务器。 其他要求： 安装边缘节点的电脑需为Linux，推荐使用CentOS 7（不推荐CentOS 8，因CentOS 8缺少边缘软件依赖组件）。 安装边缘节点的电脑需要安装docker且内存不小于1G，docker要求版本大于17.06.0，推荐18.06.3，不推荐18

查看更多 →

视频类数据集格式要求 ModelArts Studio大模型开发平台支持创建视频类数据集，创建时可导入多种形式的数据，具体格式要求详见表1。 表1 视频类数据集格式要求 文件内容 文件格式 文件要求 视频 mp4或avi 支持mp4、avi视频格式上传，所有视频可以放在多个文件夹

查看更多 →

文本类数据集格式要求 ModelArts Studio大模型开发平台支持创建文本类数据集，创建时可导入多种形式的数据，具体格式要求详见表1。 表1 文本类数据集格式要求 文件内容 文件格式 文件要求 文档 txt、mobi、epub、docx、pdf 单个文件大小不超过50GB，文件数量最多1000个。

查看更多 →

其他类数据集格式要求 除文本、图片、视频、气象、预测类数据集外，平台还支持导入其他类数据集，即用户训练模型时使用的自定义数据集。 其他类数据集支持发布其他类数据集操作。 其他类数据集要求单个文件大小不超过50GB，单个压缩包大小不超过50GB，文件数量最多1000个。 父主题： 数据集格式要求

查看更多 →

规范要求 API生产 API开放 父主题： 附录-API治理规范指导

查看更多 →

系统要求 本节介绍使用Data Studio的最低系统要求。 软件要求 操作系统要求 Data Studio的操作系统配置要求如下表所示。 表1 支持操作系统及相应软件包 服务器 操作系统 支持版本 通用x86服务器 Windows Windows 7 (64 bit) Windows

查看更多 →

预训练数据处理 训练前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 这里以Qwen-14B为例，对于Qwen-7B和Qwen-72B，操作过程与Qwen-14B相同，只需修改对应参数即可。 Alpaca数据处理说明 数据预处理脚本preprocess_data

查看更多 →

预训练数据处理 训练前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 这里以Llama2-70B为例，对于Llama2-7B和Llama2-13B，操作过程与Llama2-70B相同，只需修改对应参数即可。 Alpaca数据处理说明 数据预处理脚本preprocess_data

查看更多 →

预训练超参配置 本章节介绍预训练前的超参配置，可以根据实际需要修改。 预训练脚本baichuan2.sh，存放在“6.3.904-Ascend/llm_train/AscendSpeed/scripts/baichuan2”目录下。训练前，可以根据实际需要修改超参配置。 表1 超参配置

查看更多 →

气象类数据集格式要求 ModelArts Studio大模型开发平台支持导入气象类数据集，该数据集当前包括海洋气象数据。 海洋气象数据通常来源于气象再分析。气象再分析是通过现代气象模型和数据同化技术，重新处理历史观测数据，生成高质量的气象记录。这些数据既可以覆盖全球范围，也可以针

查看更多 →

csv 数据为结构化数据，包含列和行，每一行表示一条数据，每一列表示一个特征，并且必须包含预测目标列，预测目标列要求为连续型数据。 目录下只有1个数据文件时，文件无命名要求。 目录下有多个数据文件时，需要通过命名的方式指定数据是训练数据集、验证数据集还是测试数据集。训练数据名称需包含train字样，如train01

查看更多 →

预训练数据处理 训练前需要对数据集进行预处理，转化为.bin和.idx格式文件，以满足训练要求。 Alpaca数据处理说明 数据预处理脚本preprocess_data.py存放在代码包的“llm_train/AscendSpeed/ModelLink/tools”目录中，脚本样

查看更多 →

优化训练数据的质量 在数据科学和机器学习领域，数据的质量和多样性对模型的效果至关重要。通过有效的数据预处理和数据优化方法，通过提升训练数据的质量可以显著提升训练所得模型的效果。以下是一些关键的数据优化方法及其具体过程： 数据加工 错误数据过滤 ：在大规模数据集中，噪声和错误数据是不

查看更多 →