昇腾云服务6.3.907版本说明

西南-贵阳一

PyTorch：

swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc2-py_3.9-hce_2.0.2312-aarch64-snt9b-20240727152329-0f2c29a

MindSpore：

swr.cn-southwest-2.myhuaweicloud.com/atelier/mindspore_2_3_ascend:mindspore_2.3.0-cann_8.0.rc2-py_3.9-hce_2.0.2312-aarch64-snt9b-20240727152329-0f2c29a

镜像发布到SWR，从SWR拉取

固件驱动：23.0.6

CANN：cann_8.0.rc2

容器镜像OS：hce_2.0

PyTorch：pytorch_2.1.0

MindSpore：MindSpore 2.3.0

FrameworkPTAdapter：6.0.RC2

如果用到CCE，版本要求是CCE Turbo v1.25及以上

AscendCloud-6.3.907-xxx.zip

包含

1. 三方大模型训练和推理代码包：AscendCloud-LLM
2. AIGC代码包：AscendCloud-AIGC
3. 算子依赖包：AscendCloud-OPP

获取路径：Support-E

三方大模型，包名：AscendCloud-LLM

支持如下模型适配PyTorch-NPU的训练(ModelLink)

1. llama2-7b
2. llama2-13b
3. llama2-70b
4. qwen-7b
5. qwen-14b
6. qwen-72b
7. baichuan2-13b
8. chatglm3-6b
9. llama3-8b
10. llama3-70b
11. yi-6B
12. yi-34B
13. qwen1.5-7B
14. qwen1.5-14B
15. qwen1.5-32B
16. qwen1.5-72B
17. qwen2-0.5b
18. qwen2-1.5b
19. qwen2-7b
20. qwen2-72b
21. glm4-9b

支持如下模型适配PyTorch-NPU的训练(LlamaFactory)

1. llama3-8b
2. llama3-70b
3. qwen1.5-0.5b
4. qwen1.5-1.8b
5. qwen1.5-4b
6. qwen1.5-7b
7. qwen1.5-14b
8. yi-6b
9. yi-34b
10. qwen2-0.5b
11. qwen2-1.5b
12. qwen2-7b
13. qwen2-7b
14. falcon-11B

LLM开源大模型基于DevServer适配ModelLinkPyTorch NPU训练指导（6.3.907）

LLM开源大模型基于DevServer适配LLamaFactory PyTorch NPU训练指导（6.3.907）

LLM开源大模型基于Standard+OBS适配PyTorch NPU训练指导（6.3.907）

LLM开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导（6.3.907）

支持如下模型适配PyTorch-NPU的推理。

1. llama-7B
2. llama-13b
3. llama-65b
4. llama2-7b
5. llama2-13b
6. llama2-70b
7. llama3-8b
8. llama3-70b
9. yi-6b
10. yi-9b
11. yi-34b
12. deepseek-llm-7b
13. deepseek-coder-instruct-33b
14. deepseek-llm-67b
15. qwen-7b
16. qwen-14b
17. qwen-72b
18. qwen1.5-0.5b
19. qwen1.5-7b
20. qwen1.5-1.8b
21. qwen1.5-14b
22. qwen1.5-32b
23. qwen1.5-72b
24. qwen1.5-110b
25. qwen2-0.5b
26. qwen2-1.5b
27. qwen2-7b
28. qwen2-72b
29. baichuan2-7b
30. baichuan2-13b
31. chatglm2-6b
32. chatglm3-6b
33. glm-4-9b
34. gemma-2b
35. gemma-7b
36. mistral-7b
37. mixtral 8*7B
38. falcon2-11b
39. qwen2-57b-a14b
40. llama3.1-8b
41. llama3.1-70b

ascend-vllm支持如下推理特性：

1. vLLM版本升级至0.5.0

LLM开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.907）

LLM开源大模型基于Standard适配PyTorch NPU推理指导（6.3.907）

AIGC，包名：AscendCloud-AIGC

支持如下框架或模型基于DevServer的PyTorch NPU推理：

1. ComfyUI
2. diffusers
3. stable-diffusion-webui
4. LLaVA
5. Qwen-VL
6. Wav2Lip
7. OpenSora1.2
8. OpenSoraPlan1.0

支持如下框架或模型基于DevServer的PyTorch NPU的训练：

1. diffusers
2. koyha_ss
3. LLaVA
4. Wav2Lip
5. OpenSora1.2
6. OpenSoraPlan1.0

SDXL基于Standard适配PyTorch NPU的LoRA训练指导（6.3.907）

SD1.5&SDXL Diffusers框架基于DevServer适配PyTorch NPU训练指导（6.3.907）

SD1.5&SDXL Diffusers框架基于DevServer适配PyTorch NPU推理指导（6.3.907）

SD3 Diffusers框架基于DevServer适配PyTorch NPU推理指导（6.3.907）

SD WEBUI套件适配PyTorch NPU的推理指导（6.3.907）

SD1.5&SDXL Koyha框架基于DevServer适配PyTorch NPU训练指导（6.3.907）

Open-Sora-Plan1.0基于DevServer适配PyTorch NPU训练推理指导（6.3.907）

Open-Sora1.2基于DevServer适配PyTorch NPU训练推理指导（6.3.907）

Wav2Lip基于DevServer适配PyTorch NPU推理指导（6.3.907）

Wav2Lip基于DevServer适配PyTorch NPU训练指导（6.3.907）

算子，包名：AscendCloud-OPP

1. Scatter、Gather算子性能提升，满足MoE训练场景
2. matmul、swiglu、rope等算子性能提升，支持vllm推理场景
3. 支持random随机数算子，优化FFN算子，满足AIGC等场景
4. 支持自定义交叉熵融合算子，满足BMTrain框架训练性能要求
5. 优化PageAttention算子，满足vllm投机推理场景
6. 支持CopyBlocks算子，满足vllm框架beam search解码场景

无