昇腾云服务6.3.T051版本说明

昇腾云模型代码

包名：AscendCloud-3rdLLM

三方大模型，包名：AscendCloud-3rdLLM

PyTorch框架下支持如下模型训练：

1. llama2-7b
2. llama2-13b
3. llama2-70b
4. qwen-7b
5. qwen-14b
6. qwen-72b
7. baichuan2-13b
8. chatglm3-6b
9. llama3-8b
10. llama3-70b
11. yi-6B
12. yi-34B
13. qwen1.5-7B
14. qwen1.5-14B
15. qwen1.5-32B
16. qwen1.5-72B

PyTorch框架下支持如下模型推理：

1. llama-7B
2. llama-13b
3. llama-65b
4. llama2-7b
5. llama2-13b
6. llama2-70b
7. llama3-8b
8. llama3-70b
9. yi-6b
10. yi-9b
11. yi-34b
12. deepseek-llm-7b
13. deepseek-coder-instruct-33b
14. deepseek-llm-67b
15. qwen-7b
16. qwen-14b
17. qwen-72b
18. qwen1.5-0.5b
19. qwen1.5-7b
20. qwen1.5-1.8b
21. qwen1.5-14b
22. qwen1.5-32b
23. qwen1.5-72b
24. qwen1.5-110b
25. baichuan2-7b
26. baichuan2-13b
27. chatglm2-6b
28. chatglm3-6b
29. gemma-2b
30. gemma-7b
31. mistral-7b

配套CANN8.0.RC2镜像（非商发）

其中Llama/Llama2/Llama3系列、Qwen系列、Qwen1.5系列推理支持AWQ（W4A16）, SmoothQuant(W8A8)量化

所有推理请求均支持beam-search短期方案。

无

算子，包名：AscendCloud-OPP

配套W4A16和W8A8的算子

配套CANN8.0.RC2镜像(非商发）

无

基础镜像

PyTorch：

西南-贵阳一

swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc2-py_3.9-hce_2.0.2312-aarch64-snt9b-20240518201626-e439695

镜像发布到SWR（非商发）

无