昇腾云服务6.5.902版本说明

Snt9B

PyTorch2.1.0：

swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.0-py_3.10-hce_2.0.2412-aarch64-snt9b-20250207103006-97ebd68

PyTorch2.3.1：

swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_3_ascend:pytorch_2.3.1-cann_8.0.rc3-py_3.10-hce_2.0.2409-aarch64-snt9b-20241213131522-aafe527

镜像发布到SWR，

region：西南-贵阳一，

从SWR拉取

固件驱动：24.1.0.6

CANN：cann_8.0.rc3、8.0.0.B100

容器镜像OS：hce_2.0

PyTorch：pytorch_2.1.0、pytorch2.3.1

MindSpore：MindSpore 2.4.0

FrameworkPTAdapter：6.0.RC3

CCE：如果用到CCE，版本要求是CCE Turbo v1.28及以上

AscendCloud-6.5.902-xxx.zip

包含

1. 三方大模型训练和推理代码包：AscendCloud-LLM
2. AIGC代码包：AscendCloud-AIGC
3. 算子依赖包：AscendCloud-OPP

获取路径：Support-E，在此路径中查找下载ModelArts 6.5.902版本。

三方大模型，包名：AscendCloud-LLM

支持如下模型适配PyTorch-NPU的训练(MindSpeed-LLM)

1. qwen2-0.5b
2. qwen2-1.5b
3. qwen2-7b
4. qwen2-72b
5. glm4-9b
6. llama3.1-8b
7. llama3.1-70b
8. qwen2.5-0.5b
9. qwen2.5-7b
10. qwen2.5-14b
11. qwen2.5-32b
12. qwen2.5-72b
13. llama3.2-1b
14. llama3.2-3b

支持如下模型适配PyTorch-NPU的训练(Llama-Factory)

1. llama3.1-8b
2. llama3.1-70b
3. llama3.2-1b
4. llama3.2-3b
5. qwen2-0.5b
6. qwen2-1.5b
7. qwen2-7b
8. qwen2-72b
9. qwen2.5-0.5b
10. qwen2.5-7b
11. qwen2.5-14b
12. qwen2.5-32b
13. qwen2.5-72b
14. glm4-9b
15. qwen2_vl-2b
16. qwen2_vl-7b
17. qwen2_vl-72b
18. qwen2.5-vl-7b
19. qwen2.5-vl-72b

LLM开源大模型基于Lite Server适配PyTorch NPU训练指导

LLM开源大模型基于Standard+OBS适配PyTorch NPU训练指导

LLM开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导

LLM开源大模型基于Lite Cluster适配PyTorch NPU训练指导

支持如下模型适配PyTorch-NPU的推理(Ascend-vLLM框架)：

1. QwQ-32B
2. DeepSeek-R1-Distill-Llama-8B
3. DeepSeek-R1-Distill-Llama-70B
4. DeepSeek-R1-Distill-Qwen-1.5B
5. DeepSeek-R1-Distill-Qwen-7B
6. DeepSeek-R1-Distill-Qwen-14B
7. DeepSeek-R1-Distill-Qwen-32B
8. bge-reranker-v2-m3
9. internvl2.5-38B
10. qwen2.5-vl-7B
11. qwen2.5-vl-72B

Ascend-vllm支持如下推理特性：

1. 支持分离部署
2. 支持多机推理
3. 支持W4A16、W8A16和W8A8量化
4. 升级vLLM 0.7.2
5. 部分模型支持Reasoning Outputs

说明：具体模型支持的特性请参见大模型推理指导文档

LLM开源大模型基于Lite Server适配Ascend-vLLM PyTorch NPU推理指导

LLM开源大模型基于Standard适配PyTorch NPU推理指导

LLM开源大模型基于Lite Cluster适配PyTorch NPU推理指导

AIGC，包名：AscendCloud-AIGC

支持如下框架或模型基于PyTorch NPU推理（PyTorch框架）：

1. Stable Diffusion 1.5（Diffusers、ComfyUI）
2. Stable Diffusion XL（Diffusers、ComfyUI）
3. Stable Diffusion 3（Diffusers）
4. Stable Diffusion 3.5（Diffusers、ComfyUI）
5. Wav2Lip
6. OpenSora1.2
7. OpenSoraPlan1.0
8. Hunyuan-Dit
9. Qwen-VL
10. CogVideoX
11. LLama-VID
12. MiniCPM-V2.0
13. CogVideoX1.5 5b
14. Cogvideo 5b
15. Deepseek Janus-Pro 1b
16. Deepseek Janus-Pro 7b
17. Wan2.1 1.3b
18. Wan2.1 14b

支持如下框架或模型基于PyTorch NPU的训练（PyTorch框架）：

1. Qwen-VL
2. Stable Diffusion 1.5（Diffusers、Kohya_ss）
3. Stable Diffusion XL（Diffusers、Kohya_ss）
4. Wav2Lip
5. InternVL2
6. OpenSora1.2
7. OpenSoraPlan1.0
8. CogVideoX
9. LLaVA-NeXT
10. LLaVA
11. MiniCPM-V2.0
12. Llama-3.2-11b
13. CogVideoX1.5 5b
14. MiniCPM-V2.6
15. Bunny-Llama-3-8B-V

文生图模型训练推理

文生视频模型训练推理

多模态模型训练推理

算子，包名：AscendCloud-OPP

1. Scatter、Gather算子性能提升，满足MoE训练场景
2. matmul、swiglu、rope等算子性能提升，支持vllm推理场景
3. 支持random随机数算子，优化FFN算子，满足AIGC等场景
4. 支持自定义交叉熵融合算子，满足BMTrain框架训练性能要求
5. 优化PageAttention算子，满足vllm投机推理场景
6. 支持CopyBlocks算子，满足vllm框架beam search解码场景
7. 支持AdvanceStep算子，满足vllm投机推理场景
8. 多个融合算子支持PTA图模式适配，满足AIGC场景
9. 支持两种版本配套算子包（torch2.1.0和python3.9、torch2.3.1和python3.10）

无