# 版本说明和要求 #### 版本差异说明 本文档支持昇腾云6.5.906及以后版本，最新版本是6.5.910。推荐使用最新版本配套的软件包和镜像。 表1版本差异说明 | 版本 | 说明 | |:---|:---| | 6.5.910 | 相较于6.5.908版本，6.5.910有以下新增支持特性： - VeRL强化学习框架： 1. 新增异步rollout、工具调用功能； 2. 新增训推分离功能one-step off-policy； 3. 新增支持DAPO/GRPO中LoRA微调； 4. 精度工具支持内存snapshot和精度数据采集解耦； 5. 精度工具支持Mock推理功能中NPU和GPU数据随机保序采样重用。 - MindSpeed-RL框架：新增支持填充移除（Remove Padding）。 - MindSpeed-MM框架：新增支持Qwen2.5VL- 7B、InternVL3-8B模型的预训练和微调。 - MindSpeed-LLM框架：Qwen2.5-7B/32B/72B支持32K长序列。 | | 6.5.908 | 相对于6.5.907版本，6.5.908有以下新增支持特性： - VeRL强化学习框架： 1. 新增Qwen2.5-VL-72B DAPO、Qwen3-30B-A3B GRPO/DAPO、Qwen2.5-72B GRPO/DAPO； 2. 新增支持Megatron训练后端； 3. 32k长序列：Qwen2.5-72B、Qwen3-8B、Qwen3-32B、Qwen2.5-VL-7B； 4. 新增精度数据采集工具。 - Llama-Factory框架： 1. 新增支持长序列并行（Ring Attention、Ulysses）； 2. 32k长序列场景：Qwen3-8B、Qwen2.5-VL-7B、Qwen2.5-VL-32B的Full微调； - MindSpeed-LLM框架：32k长序列，Qwen2.5-0.5B/1.5B/7B/14B/32B/72B、Qwen3-0.6/1.7B/4B/14B/32B、Qwen3-30B-A3B； - MindSpeed-RL框架： 1. 新增Qwen2.5-VL-3B、Qwen2.5-VL-7B、Qwen2.5-32B、Qwen3-32B 、Qwen3-30B-A3B模型的GRPO； 2. 32k长序列：Qwen2.5-32B。 | | 6.5.907 | 相对于6.5.906版本，6.5.907有以下新增支持特性： 1. VeRL强化学习框架：新增Qwen2.5VL系列/Qwen3系列模型/Qwen2.5系列模型支持PPO/DAPO/GRPO。 2. Llama-Factory框架：新增Qwen2.5-14B、Qwen2.5-VL-7B、Qwen2.5-72B支持DPO强化学习 3. MindSpeed-MM框架：新增Qwen2.5VL-7B、Qwen2.5VL-3B模型支持预训练和微调。 相对于6.5.906版本，6.5.907有以下特性变更不支持： 1. Llama-Factory框架：Internvl2.5-8B、Internvl2.5-38B、Internvl2.5-78B不支持full和lora微调。 | | 6.5.906 | 相对于6.5.905版本，6.5.906有以下特性变更： 1. MindSpeed_RL强化学习框架：支持Qwen2.5系列模型的GRPO算法训练。 2. VeRL强化学习框架：支持大语言模型Qwen3-8B、多模态模型Qwen2.5_vl系列模型。 | #### 训练框架版本 - LlamaFactory框架版本：0.9.3 - MindSpeed-LLM框架版本：2.1.0 - MindSpeed-RL框架版本：2.1.0 - MindSpeed-MM框架版本：2.2.0 - VeRL框架版本：0.5.0.dev #### 基础镜像版本 本教程中用到的训练基础镜像地址和配套版本关系如下表所示，请提前了解。 表2基础容器镜像地址 | 镜像用途 | 镜像地址 | 配套版本 | |:---|:---|:---| | 基础镜像Snt9b | 西南-贵阳一： swr.cn-southwest-2.myhuaweicloud.com/ atelier/pytorch_ascend:pytorch_2.5.1-cann_8.2.rc2-py_3.11-hce_2.0.2506-aarch64-snt9b-20250924142716-99ec71c 中国-香港： swr.ap-southeast-1.myhuaweicloud.com/ atelier/pytorch_ascend:pytorch_2.5.1-cann_8.2.rc2-py_3.11-hce_2.0.2506-aarch64-snt9b-20250924142716-99ec71c | 6.5.910 | | 基础镜像Snt9b23 | 西南-贵阳一： swr.cn-southwest-2.myhuaweicloud.com/ atelier/pytorch_ascend:pytorch_2.5.1-cann_8.2.rc2-py_3.11-hce_2.0.2506-aarch64-snt9b23-20250924142716-99ec71c 中国-香港： swr.ap-southeast-1.myhuaweicloud.com/ atelier/pytorch_ascend:pytorch_2.5.1-cann_8.2.rc2-py_3.11-hce_2.0.2506-aarch64-snt9b23-20250924142716-99ec71c | 6.5.910 | 表3模型镜像版本 | 机型 | 模型 | 版本 | |:---|:---|:---| | Snt9b | CANN | 8.2.RC2 | | Snt9b | 驱动 | 24.1.0.6 | | Snt9b | PyTorch | 2.5.1 | | Snt9b23 | CANN | 8.2.RC2 | | Snt9b23 | 驱动 | 25.2.1 | | Snt9b23 | PyTorch | 2.5.1 | #### 软件包获取 本方案需要使用到的软件配套版本和依赖包获取地址如下表所示。 表4软件配套版本和获取地址 | 昇腾云版本 | 软件名称 | 说明 | 下载地址 | |:---|:---|:---|:---| | 6.5.910 | AscendCloud-6.5.910-timestamp.zip | 包含了本教程中使用到的训练代码包。 | 1. 获取路径：[Support-E](https://support.huawei.com/enterprise/zh/cloud-computing/modelarts-pid-23404305/software/)。 2. 找到对应的版本：ModelArts 6.5.910 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。 | #### 软件包结构 AscendCloud-LLM代码包关键训练文件介绍如下： ``` |——AscendCloud-LLM |──llm_train/AscendFactory/ # 模型训练代码包 |──install/ # 各个框架的安装脚本包 |──docker/ # dockerfile文件目录 |──src # 训练运行包 |──ascend_factory/ # 训练运行包 |──open_source/ # 三方包git目录 |──open_source_adaptor/ # ascend适配优化patch包目录 |──install.sh # 初始化环境执行脚本 |──data.tgz # 样例数据压缩包 ```