# 版本说明和要求
#### 版本差异说明
本文档支持昇腾云6.5.906及以后版本。推荐使用最新版本配套的软件包和镜像。
表1版本差异说明 
| 版本      | 说明                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      |
|:---|:---|
| 6.5.908 | 相对于6.5.907版本，6.5.908有以下变更点： 1. 大语言推理框架： 1. 新增[大小模型投机](https://support.huaweicloud.com/bestpractice-modelarts/modelarts_llm_infer_5908018.html)、[Eagle投机推理](https://support.huaweicloud.com/bestpractice-modelarts/modelarts_llm_infer_5908019.html)特性；    2. 解决6.5.907版本若干稳定性问题。   |
| 6.5.907 | 相对于6.5.906版本，6.5.907有以下变更点： 1. 大语言推理框架：新增Qwen3-Embedding系列/Qwen3-Reranker系列。 2. 多模态推理框架：新增Qwen2.5 VL对128K长序列支持。 3. 解决6.5.906版本若干稳定性问题。                                                                                                                                                                                                                                                                                                                                                                                                                                      |
   
#### 资源规格要求
本文档中的模型运行环境是ModelArts Lite的弹性节点Server。推荐使用"西南-贵阳一"Region上的资源和Ascend Snt9b和Snt9b23。
请参考[轻量算力节点资源开通](https://support.huaweicloud.com/resmgmt-modelarts/usermanual-server-0005.html)，购买轻量算力节点资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。
![](https://support.huaweicloud.com/bestpractice-modelarts/public_sys-resources/note_3.0-zh-cn.png)
当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见[禁止容器获取宿主机元数据](https://support.huaweicloud.com/bestpractice-cce/cce_bestpractice_0318.html#section4)。
#### Ascend-vLLM版本
本方案支持vLLM的v0.9.0版本。
#### 镜像版本
本方案中用到的基础镜像地址和配套版本关系如下表所示，请提前了解。
 表2基础容器镜像地址 
| 镜像用途        | 镜像地址                                                                                                                                                                                                                                                                                                                                                                                                                                                                | 配套版本                                                                                    |
|:---|:---|:---|
| Snt9b基础镜像   | 西南-贵阳一： swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_ascend:pytorch_2.5.1-cann_8.2.rc1-py_3.11-hce_2.0.2503-aarch64-snt9b-20250729103313-3a25129 中国-香港： swr.ap-southeast-1.myhuaweicloud.com/atelier/pytorch_ascend:pytorch_2.5.1-cann_8.2.rc1-py_3.11-hce_2.0.2503-aarch64-snt9b-20250729103313-3a25129    | Cann：CANN 8.2.RC1 PyTorch：pytorch_2.5.1 |
| Snt9b23基础镜像 | 西南-贵阳一： swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_ascend:pytorch_2.5.1-cann_8.2.rc1-py_3.11-hce_2.0.2503-aarch64-snt9b23-20250729103313-3a25129 中国-香港 swr.ap-southeast-1.myhuaweicloud.com/atelier/pytorch_ascend:pytorch_2.5.1-cann_8.2.rc1-py_3.11-hce_2.0.2503-aarch64-snt9b23-20250729103313-3a25129 | Cann：CANN 8.2.RC1 PyTorch：pytorch_2.5.1 |
   
#### 软件配套版本
本方案支持的软件配套版本和依赖包获取地址如[表3]所示。
 表3获取软件包 
| 软件包名称                       | 软件包说明                      | 获取地址                                                                                                                                                                                                                                                                                               |
|:---|:---|:---|
| AscendCloud-6.5.908-xxx.zip | 推理框架和算子代码包**（适用于大语言模型推理）** | 获取路径：[Support-E](https://support.huawei.com/enterprise/zh/cloud-computing/modelarts-pid-23404305/software/)，在此路径中查找下载ModelArts 6.5.908版本。 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。 |
| AscendCloud-6.5.907-xxx.zip | 推理框架和算子代码包（**适用于多模态模型推理**） | 获取路径：[Support-E](https://support.huawei.com/enterprise/zh/cloud-computing/modelarts-pid-23404305/software/)，在此路径中查找下载ModelArts 6.5.907版本。                                                                                                                                                          |
   
#### 软件包结构说明
本教程需要使用到的AscendCloud-xxx中的AscendCloud-LLM-xxx.zip软件包中存放了推理代码关键文件，介绍如下。
```
|——AscendCloud-LLM
 ├──llm_inference  # 推理代码
    ├──ascend_vllm 
          ├── ascend_vllm              # 推理源码
          ├── install.sh               # 安装脚本
          ├── version.info             # 版本信息
          ├── Dockerfile               # 推理构建镜像dockerfile
          ├── vllm_list.patch          # 基于vllm推理增量补丁
          ├── vllm_service_profile.patch   # 基于vllm推理增量补丁
          ├── vllm_serving_chat.patch      # 基于vllm推理增量补丁
          ├── vllm-log-rotating.patch      # 基于vllm推理增量补丁
 ├──llm_tools           # 推理工具包
   ├──launch_server      # 一键式启动脚本
   ├──llm_evaluation     # MME精度测评工具
   ├──PD_separate        # PD分离
   ├──simple_evals       # 精度评测工具
   ├──acs_bench-x.x.x-py3-none-any.whl     # benchmark性能测试工具包   
   ├──acs_service_profiler-x.x.x-py3-none-any.whl    #service profiling采集工具包
```