昇腾云服务6.3.905版本说明

PyTorch：

西南-贵阳一

swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc2-py_3.9-hce_2.0.2312-aarch64-snt9b-20240528150158-b521cc0

镜像发布到SWR，从SWR拉取

cann_8.0.rc2

pytorch_2.1.0

hce_2.0

AscendCloud-3rdLLM-6.3.905-20240611214128.zip

三方大模型训练和推理代码包

获取路径：Support-E

AscendCloud-3rdAIGC-6.3.905-20240529154412.zip

AIGC场景训练和推理代码包

AscendCloud-LLMFramework-6.3.905-20240611151643.zip

大模型推理框架代码包

AscendCloud-OPP-6.3.905-20240611170314.zip

算子依赖包

三方大模型，包名：AscendCloud-3rdLLM

支持如下模型适配PyTorch-NPU的训练。

1. llama2-7b
2. llama2-13b
3. llama2-70b
4. qwen-7b
5. qwen-14b
6. qwen-72b
7. baichuan2-13b
8. chatglm3-6b
9. llama3-8b
10. llama3-70b
11. yi-6B
12. yi-34B
13. qwen1.5-7B
14. qwen1.5-14B
15. qwen1.5-32B
16. qwen1.5-72B

主流开源大模型（PyTorch）基于DevServer训练指导

支持如下模型适配PyTorch-NPU的推理。

1. llama-7B
2. llama-13b
3. llama-65b
4. llama2-7b
5. llama2-13b
6. llama2-70b
7. llama3-8b
8. llama3-70b
9. yi-6b
10. yi-9b
11. yi-34b
12. deepseek-llm-7b
13. deepseek-coder-instruct-33b
14. deepseek-llm-67b
15. qwen-7b
16. qwen-14b
17. qwen-72b
18. qwen1.5-0.5b
19. qwen1.5-7b
20. qwen1.5-1.8b
21. qwen1.5-14b
22. qwen1.5-32b
23. qwen1.5-72b
24. qwen1.5-110b
25. baichuan2-7b
26. baichuan2-13b
27. chatglm2-6b
28. chatglm3-6b
29. gemma-2b
30. gemma-7b
31. mistral-7b

说明：

当前版本不支持推理量化功能（W4A16，W8A8）

主流开源大模型（PyTorch）基于DevServer推理部署

AIGC，包名：AscendCloud-3rdAIGC

1. SDXL模型：
   • Fine-tuning微调支持Standard及DevServer模式
   • LoRA微调支持DevServer模式
2. Open-Sora1.0训练支持DevServer模式

SDXL基于Standard适配PyTorch NPU的Finetune高性能训练指导

SDXL基于DevServer适配PyTorch NPU的Finetune高性能训练指导

SDXL基于DevServer适配PyTorch NPU的LoRA训练指导

Open-Sora基于DevServer适配PyTorch NPU训练指导

大模型推理框架，包名：AscendCloud-LLMFramework

适配vLLM 0.4.2版本（受限发布）：

1. 仅支持部分三方大模型
2. 不支持prefix caching功能
3. 不支持beam search推理场景，不支持n>1推理场景
4. 不支持chunked prefill

无

算子，包名：AscendCloud-OPP

1. Scatter、Gather算子性能提升，满足MoE训练场景
2. matmul、swiglu、rope等算子性能提升，支持vllm推理场景
3. 新增random随机数算子，优化FFN算子，满足AIGC等场景

无