文档首页/
AI开发平台ModelArts/
最佳实践/
LLM大语言模型训练/
LLM大语言模型训练历史版本文档/
主流开源大模型基于Lite Cluster适配MindSpeed-LLM PyTorch NPU训练指导（6.5.905）/
支持的模型列表
更新时间：2025-06-23 GMT+08:00
支持的模型列表
训练支持的模型列表
本方案支持以下模型的训练，如表1所示。
|
序号 |
支持模型 |
支持模型参数量 |
权重文件获取地址 |
|---|---|---|---|
|
1 |
Qwen2 |
qwen2-0.5b |
|
|
2 |
qwen2-1.5b |
||
|
3 |
qwen2-7b |
||
|
4 |
qwen2-72b |
||
|
5 |
GLMv4 |
glm4-9b |
|
|
6 |
mixtral |
mixtral-8x7b |
|
|
7 |
llama3.1 |
llama3.1-8b |
https://huggingface.co/meta-llama/Meta-Llama-3.1-8B-Instruct |
|
8 |
llama3.1-70b |
https://huggingface.co/meta-llama/Meta-Llama-3.1-70B-Instruct |
|
|
9 |
Qwen2.5 |
qwen2.5-0.5b |
|
|
10 |
qwen2.5-7b |
||
|
11 |
qwen2.5-14b |
||
|
12 |
qwen2.5-32b |
||
|
13 |
qwen2.5-72b |
||
|
14 |
Qwen3 |
qwen3-0.6b |
|
|
15 |
qwen3-1.7b |
||
|
16 |
qwen3-4b |
||
|
17 |
qwen3-8b |
||
|
18 |
qwen3-14b |
||
|
19 |
qwen3-32b |
||
|
20 |
Qwen3_MOE |
qwen3_moe-30B_A3B |
|
|
21 |
qwen3_moe-235B_A22B |
||
|
22 |
llama3.2 |
llama3.2-1b |
|
|
23 |
llama3.2-3b |
||
|
24 |
DeepSeek |
DeepSeek-V3 |
https://huggingface.co/deepseek-ai/DeepSeek-V3-Base/tree/main |
|
25 |
DeepSeek-R1 |
下线模型
以下模型已不再跟随版本演进维护，如训练以下模型可参考6.5.901版本训练文档：
- Llama2/3：llama2-7b/13b/70b、llama3-8b/70b
- Qwen/Qwen1.5：qwen-7b/14b/72b、qwen1.5-7b/14b/32b/72b
- Yi：yi-6b、yi-32b
- BaiChuan2：baichuan2-7b、baichuan2-13b
- mistral-7b、glm3-6b
