更新时间:2025-08-29 GMT+08:00
分享

昇腾云服务6.5.906版本说明

本文档主要介绍昇腾云服务6.5.906版本配套的镜像地址、软件包获取方式和支持的特性能力。

当前版本仅适用于华为公有云。

配套的基础镜像

芯片

镜像地址

获取方式

镜像软件说明

Snt9b

pytorch_2.5.1(适用于大语言模型推理框架和AIGC):

swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_ascend:pytorch_2.5.1-cann_8.2.rc1-py_3.11-hce_2.0.2503-aarch64-snt9b-20250729103313-3a25129

pytorch_2.5.1(适用于多模态模型推理框架):

swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_ascend:pytorch_2.5.1-cann_8.2.rc1-py_3.11-hce_2.0.2503-aarch64-snt9b-20250717151727-8092d23

镜像发布到SWR,从SWR拉取

Region:乌兰一、华东二、西南-贵阳一

固件驱动:24.1.0.6(snt9b)/24.1.rc3.7(snt9b23)

CANN:cann_8.2.rc1

容器镜像OS:hce_2.0

PyTorch:pytorch_2.5.1

Snt9b23

pytorch_2.5.1(适用于大语言模型推理框架和AIGC):

swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_ascend:pytorch_2.5.1-cann_8.2.rc1-py_3.11-hce_2.0.2503-aarch64-snt9b23-20250729103313-3a25129

软件包获取地址

软件包名称

软件包说明

获取地址

AscendCloud-6.5.906-20250820145144.zip

大语言模型推理框架和算子代码包(Snt9b机型

获取路径:Support-E,在此路径中查找下载ModelArts 6.5.906版本。

说明:

如果上述软件获取路径打开后未显示相应的软件信息,说明您没有下载权限,请联系您所在企业的华为方技术支持下载获取。

AscendCloud-6.5.906-20250820145646.zip

大语言模型推理框架和算子代码包(Snt9b23机型

AscendCloud-LLMFramework-6.5.906-20250818162611.zip

AscendCloud-OPP-6.5.906.A2-20250708143415.zip

多模态模型推理框架和算子代码包(Snt9b机型

支持的特性

表1 本版本支持的特性说明

分类

软件包特性说明

参考文档

三方大模型推理,包名:AscendCloud-LLM

支持如下模型适配PyTorch-NPU的推理(Ascend-vLLM框架):

  1. DeepSeek-R1-Distill-Qwen-1.5b/7b/8b/14b/32b/70b
  2. GLM4-9b
  3. qwen2-0.5b/7b/14b/72b/57b-a14b
  4. qwen2.5-0.5b/1.5b/3b/7b/14b/32b/72b
  5. qwen3-0.6b/1.7b/4b/8b/14b/32b/30b-a3b/235b-a22b
  6. QWQ-32b
  7. bge-reranker-v2-m3/bge-base-en-v1.5/bge-base-zh-v1.5/bge-large-en-v1.5/bge-large-zh-v1.5/bge-m3
  8. qwen2.5VL-7b/32b/72b
  9. internvl2.5-26B
  10. internvl2-Llama3-76B-AWQ
  11. gemma3-27b

Ascend-vllm支持如下推理特性:

  1. 升级至vLLM 0.9.0
  2. 支持多机推理
  3. 支持W8A8/AWQ量化
  4. 部分模型支持Reasoning Outputs
  5. 支持APC
  6. 部分模型支持Function Call
  7. 支持图模式

说明:具体模型支持的特性请参见大模型推理指导文档

LLM大语言模型推理指导

AIGC,包名:AscendCloud-AIGC

支持如下框架或模型基于PyTorch NPU推理(PyTorch框架):

  1. Stable Diffusion 1.5(Diffusers、ComfyUI)
  2. Stable Diffusion XL(Diffusers、ComfyUI)
  3. Stable Diffusion 3.5(Diffusers、ComfyUI)
  4. CogVideoX
  5. LLama-VID
  6. MiniCPM-V2.0
  7. CogVideoX1.5 5b
  8. Cogvideo 5b
  9. Deepseek Janus-Pro 1b
  10. Deepseek Janus-Pro 7b
  11. Wan2.1 1.3b
  12. Wan2.1 14b
  13. 自回归模型(VAR/XAR/RandAR/Infinity)
  14. Wan2.1-VACE-1.3b
  15. HunyuanVideo

支持如下框架或模型基于PyTorch NPU的训练(PyTorch框架)

  1. Stable Diffusion 1.5(Diffusers、Kohya_ss)
  2. Stable Diffusion XL(Diffusers、Kohya_ss)
  3. Wav2Lip
  4. InternVL2
  5. CogVideoX
  6. LLaVA-NeXT
  7. LLaVA
  8. MiniCPM-V2.0
  9. Llama-3.2-11b
  10. CogVideoX1.5 5b
  11. MiniCPM-V2.6
  12. Bunny-Llama-3-8B-V
  13. Wan2.1 1.3b
  14. Wan2.1 14b

图像生成模型训练推理

视频生成模型训练推理

多模态模型训练推理

相关文档