昇腾云服务6.3.910版本说明（推荐）

Snt9B

西南-贵阳一

PyTorch：

swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc3-py_3.9-hce_2.0.2409-aarch64-snt9b-20241112192643-c45ac6b

镜像发布到SWR，从SWR拉取

固件驱动：23.0.6

CANN：cann_8.0.rc3

容器镜像OS：hce_2.0

PyTorch：pytorch_2.1.0、pytorch_2.2.0

MindSpore：MindSpore 2.3.0

FrameworkPTAdapter：6.0.RC3

如果用到CCE，版本要求是CCE Turbo v1.28及以上

300iDUO

西南-贵阳一

PyTorch：

swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc3-py_3.9-hce_2.0.2406-aarch64-snt3p-20240906180137-154bd1b

镜像发布到SWR，从SWR拉取

固件驱动: 24.1.rc2.3

CANN：cann_8.0.rc3

容器镜像OS：hce_2.0

PyTorch：pytorch_2.1.0

MindSpore lite： 2.3.0

FrameworkPTAdapter：6.0.RC3

-

AscendCloud-6.3.910-xxx.zip

包含

1. 三方大模型训练和推理代码包：AscendCloud-LLM
2. AIGC代码包：AscendCloud-AIGC
3. CV代码包：AscendCloud-CV
4. 算子依赖包：AscendCloud-OPP

获取路径：Support-E，在此路径中查找下载ModelArts 6.3.910 版本。

三方大模型，包名：AscendCloud-LLM

支持如下模型适配PyTorch-NPU的训练(ModelLink)

1. llama2-7b
2. llama2-13b
3. llama2-70b
4. qwen-7b
5. qwen-14b
6. qwen-72b
7. baichuan2-13b
8. chatglm3-6b
9. llama3-8b
10. llama3-70b
11. yi-6B
12. yi-34B
13. qwen1.5-7B
14. qwen1.5-14B
15. qwen1.5-32B
16. qwen1.5-72B
17. qwen2-0.5b
18. qwen2-1.5b
19. qwen2-7b
20. qwen2-72b
21. glm4-9b
22. mistral-7b
23. mixtral-8x7b
24. llama3.1-8b
25. llama3.1-70b
26. qwen2.5-0.5b
27. qwen2.5-7b
28. qwen2.5-14b
29. qwen2.5-32b
30. qwen2.5-72b
31. llama3.2-1b
32. llama3.2-3b

支持如下模型适配PyTorch-NPU的训练(LlamaFactory)

1. llama2-7b
2. llama2-13b
3. llama2-70b
4. llama3-8b
5. llama3-70b
6. llama3.1-8b
7. llama3.1-70b
8. qwen1.5-0.5b
9. qwen1.5-1.8b
10. qwen1.5-4b
11. qwen1.5-7b
12. qwen1.5-14b
13. yi-6b
14. yi-34b
15. qwen2-0.5b
16. qwen2-1.5b
17. qwen2-7b
18. qwen2-72b
19. qwen2_vl-2b
20. qwen2_vl-7b
21. falcon-11B
22. glm4-9b
23. qwen2.5-0.5b
24. qwen2.5-7b
25. qwen2.5-14b
26. qwen2.5-32b
27. qwen2.5-72b
28. llama3.2-1b
29. llama3.2-3b

LLM开源大模型基于DevServer适配ModelLinkPyTorch NPU训练指导

LLM开源大模型基于DevServer适配LLamaFactory PyTorch NPU训练指导

LLM开源大模型基于Standard+OBS适配PyTorch NPU训练指导

LLM开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导

LLM开源大模型基于Lite Cluster适配PyTorch NPU训练指导

支持如下模型适配PyTorch-NPU的推理。

1. llama-7B
2. llama-13b
3. llama-65b
4. llama2-7b
5. llama2-13b
6. llama2-70b
7. llama3-8b
8. llama3-70b
9. yi-6b
10. yi-9b
11. yi-34b
12. deepseek-llm-7b
13. deepseek-coder-instruct-33b
14. deepseek-llm-67b
15. qwen-7b
16. qwen-14b
17. qwen-72b
18. qwen1.5-0.5b
19. qwen1.5-7b
20. qwen1.5-1.8b
21. qwen1.5-14b
22. qwen1.5-32b
23. qwen1.5-72b
24. qwen1.5-110b
25. qwen2-0.5b
26. qwen2-1.5b
27. qwen2-7b
28. qwen2-72b
29. qwen2.5-0.5b
30. qwen2.5-1.5b
31. qwen2.5-3b
32. qwen2.5-7b
33. qwen2.5-14b
34. qwen2.5-32b
35. qwen2.5-72b
36. baichuan2-7b
37. baichuan2-13b
38. chatglm2-6b
39. chatglm3-6b
40. glm-4-9b
41. gemma-2b
42. gemma-7b
43. mistral-7b
44. mixtral 8*7B
45. falcon2-11b
46. qwen2-57b-a14b
47. llama3.1-8b
48. llama3.1-70b
49. llama-3.1-405B
50. llama-3.2-1B
51. llama-3.2-3B
52. llava-1.5-7b
53. llava-1.5-13b
54. llava-v1.6-7b
55. llava-v1.6-13b
56. llava-v1.6-34b
57. internvl2-26B
58. internvl2-40B
59. MiniCPM-v2.6
60. deepseek-v2-236B
61. deepseek-coder-v2-lite-16B
62. qwen2-vl-7B
63. qwen-vl
64. qwen-vl-chat
65. MiniCPM-v2

Ascend-vllm支持如下推理特性：

1. 支持分离部署
2. 支持多机推理
3. 支持大小模型投机推理及eagle投机推理
4. 支持chunked prefill特性
5. 支持automatic prefix caching
6. 支持multi-lora特性
7. 支持W4A16、W8A16和W8A8量化
8. 升级vLLM 0.6.0

LLM开源大模型基于Lite Server适配PyTorch NPU推理指导

LLM开源大模型基于Standard适配PyTorch NPU推理指导

LLM开源大模型基于Lite Cluster适配PyTorch NPU推理指导

AIGC，包名：AscendCloud-AIGC

支持如下框架或模型基于DevServer的PyTorch NPU推理：

1. ComfyUI
2. Diffusers
3. Stable-diffusion-webui
4. Wav2Lip
5. OpenSora1.2
6. OpenSoraPlan1.0
7. MiniCPM-V2.6
8. FLUX.1
9. Hunyuan-Dit
10. Qwen-VL
11. CogVideoX
12. LLama-VID
13. MiniCPM-V2.0

支持如下框架或模型基于DevServer的PyTorch NPU的训练：

1. Qwen-VL
2. Diffusers
3. Koyha_ss
4. Wav2Lip
5. InternVL2
6. OpenSora1.2
7. OpenSoraPlan1.0
8. CogVideoX
9. LLaVA-NeXT
10. LLaVA
11. MiniCPM-V2.0

Open-Sora 1.2 基于DevServer适配PyTorch NPU训练推理指导

CogVideoX基于DevServer适配PyTorch NPU训练推理指导

LLama-VID基于DevServer适配PyTorch NPU推理指导

InternVL2基于DevServer适配PyTorch NPU训练指导

MiniCPM-V2.6基于DevServer适配PyTorch NPU训练推理指导

Qwen-VL基于DevServer适配Pytorch NPU的Finetune训练指导

LLaVA-Next基于DevServer适配Pytorch NPU训练指导

CV，包名：AscendCloud-CV

支持如下模型适配MindSpore Lite的推理：

1. Yolov8
2. Bert

Yolov8基于DevServer适配MindSpore Lite推理指导

Bert基于DevServer适配MindSpore Lite 推理指导

算子，包名：AscendCloud-OPP

1. Scatter、Gather算子性能提升，满足MoE训练场景
2. matmul、swiglu、rope等算子性能提升，支持vllm推理场景
3. 支持random随机数算子，优化FFN算子，满足AIGC等场景
4. 支持自定义交叉熵融合算子，满足BMTrain框架训练性能要求
5. 优化PageAttention算子，满足vllm投机推理场景
6. 支持CopyBlocks算子，满足vllm框架beam search解码场景
7. 支持AdvanceStep算子，满足vllm投机推理场景
8. 多个融合算子支持PTA图模式适配，满足AIGC场景

无