昇腾云服务6.3.904版本说明

昇腾云模型代码

三方大模型，包名：AscendCloud-3rdLLM

PyTorch框架下支持如下模型训练：

1. llama2-7b
2. llama2-13b
3. llama2-70b
4. qwen-7b
5. qwen-14b
6. qwen-72b
7. baichuan2-13b
8. chatglm3-6b

PyTorch框架下支持如下模型推理：

1. llama-7B
2. llama-13b
3. llama-65b
4. llama2-7b
5. llama2-13b
6. llama2-70b
7. llama3-8b
8. llama3-70b
9. yi-6b
10. yi-9b
11. yi-34b
12. deepseek-llm-7b
13. deepseek-coder-instruct-33b
14. deepseek-llm-67b
15. qwen-7b
16. qwen-14b
17. qwen-72b
18. qwen1.5-0.5b
19. qwen1.5-7b
20. qwen1.5-1.8b
21. qwen1.5-14b
22. qwen1.5-32b
23. qwen1.5-72b
24. qwen1.5-110b
25. baichuan2-7b
26. baichuan2-13b
27. chatglm2-6b
28. chatglm3-6b
29. gemma-2b
30. gemma-7b
31. mistral-7b

配套CANN8.0.RC1镜像

训练参考文档：

LLama2系列（PyTorch）基于DevServer训练指导

Qwen系列（PyTorch）基于DevServer训练指导

GLM3-6B（PyTorch）基于DevServer训练指导

Baichuan3-13B（PyTorch）基于DevServer训练指导

推理参考文档：

主流开源大模型（PyTorch）基于DevServer推理部署

AIGC，包名：ascendcloud-aigc

1. Controlnet插件支持NPU推理（适配ComfyUI）
2. Open-Clip模型昇腾适配
3. SD1.5 Finetune高性能训练
4. moondream2推理适配昇腾
5. BERT、YOLO等8个常用模型适配

配套CANN8.0.RC1镜像

参考文档

SDXL ComfyUI插件基于DevServer适配PyTorch NPU推理指导

Open-Clip基于DevServer适配PyTorch NPU训练指导

SD1.5基于DevServer适配PyTorch NPU Finetune训练指导

moondream2基于DevServer适配PyTorch NPU推理指导

大模型推理框架，包名：ascendcloud-llmframework

1. VLLM调度层适配ATB、pybind
2. 支持LLAMA7B/13B/65B
3. 支持单机多卡推理
4. ATB模式支持w8a16量化，推理性能提升

配套CANN8.0.RC1镜像

无

算子，包名：AscendCloud-OPP

1. Scatter、Gather算子性能提升，满足MoE场景
2. 昇腾随机数生成算子与GPU保持一致
3. 支持GroupNorm+transpose+BMM融合算子
4. FFN推理算子支持geglu激活函数
5. 支持配套pybind推理的10+算子（matmul 、swiglu、rope等）

配套CANN8.0.RC1镜像

无

基础镜像

CANN8.0.RC1商发版本

MindSpore：

西南-贵阳一：swr.cn-southwest-2.myhuaweicloud.com/atelier/mindspore_2_3_ascend:mindspore_2.3.0-cann_8.0.rc1-py_3.9-hce_2.0.2312-aarch64-snt9b-20240516142953-ca51f42

华北-乌兰察布一：swr.cn-north-9.myhuaweicloud.com/atelier/mindspore_2_3_ascend:mindspore_2.3.0-cann_8.0.rc1-py_3.9-hce_2.0.2312-aarch64-snt9b-20240516142953-ca51f42

PyTorch：

西南-贵阳一：swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc1-py_3.9-hce_2.0.2312-aarch64-snt9b-20240516142953-ca51f42

华北-乌兰察布一：swr.cn-north-9.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc1-py_3.9-hce_2.0.2312-aarch64-snt9b-20240516142953-ca51f42

商发镜像发布到SWR

无