昇腾能力应用地图

ModelArts支持如下开源模型昇腾NPU进行训练和推理。

DeepSeek系列模型

表1 DeepSeek系列模型
支持模型	应用场景	软件技术栈	指导文档
DeepSeek-R1-Distill系列模型	推理	Ascend-vLLM	DeepSeek基于Lite Server&Cluster推理
DeepSeek-R1	推理	Ascend-vLLM
DeepSeek-V3/V3.1	推理	Ascend-vLLM

LLM大语言模型

ModelArts针对以下主流的LLM大模型进行了基于昇腾NPU的适配工作，可以直接使用适配过的模型在NPU上进行推理训练。

表2 LLM模型推理能力
支持模型	支持模型参数量	应用场景	软件技术栈	指导文档
Llama2	Llama2-7b	推理	Ascend-vLLM	主流开源大模型基于Lite Server适配Ascend-vLLM PyTorch NPU推理指导
Llama3	Llama3-8b Llama3-70b	推理	Ascend-vLLM
Qwen2	qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b qwen2-57b-a14b	推理	Ascend-vLLM
Qwen2.5	qwen2.5-0.5b qwen2.5-1.5b qwen2.5-3b qwen2.5-7b qwen2.5-14b qwen2.5-32b qwen2.5-72b	推理	Ascend-vLLM
GLMv4	glm4-9b	推理	Ascend-vLLM
llama3.1	llama3.1-8b llama3.1-70b llama-3.1-405B	推理	Ascend-vLLM
llama3.2	llama-3.2-1B llama-3.2-3B	推理	Ascend-vLLM
deepseek	deepseek-v2-236b	推理	Ascend-vLLM
qwen-vl	qwen-vl qwen-vl-chat	推理	Ascend-vLLM
MiniCPM-v2	MiniCPM-v2	推理	Ascend-vLLM
gte-Qwen2-7B-instruct	gte-Qwen2-7B-instruct	推理	Ascend-vLLM

表3 LLM模型训练能力
支持模型	支持模型参数量	应用场景	软件技术栈	指导文档
Llama2	Llama2-7b Llama2-13b Llama2-70b	预训练、SFT全参微调、LoRA微调	MindSpeed-LLM（原名ModelLink） LLaMAFactory	主流开源大模型基于ModelArts Lite Server适配AscendFactory PyTorch NPU训练指导
Llama3	Llama3-8b Llama3-70b	预训练、SFT全参微调、LoRA微调	MindSpeed-LLM（原名ModelLink） LlamaFactory
Qwen2	qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b	预训练、SFT全参微调、LoRA微调	MindSpeed-LLM（原名ModelLink） LlamaFactory
Qwen2.5	qwen2.5-0.5b qwen2.5-7b qwen2.5-14b qwen2.5-32b qwen2.5-72b	预训练、SFT全参微调、LoRA微调	MindSpeed-LLM（原名ModelLink）
GLMv4	glm4-9b	预训练、SFT全参微调、LoRA微调	MindSpeed-LLM（原名ModelLink） LlamaFactory
llama3.1	llama3.1-8b llama3.1-70b	预训练、SFT全参微调、LoRA微调	MindSpeed-LLM（原名ModelLink） LlamaFactory
llama3.2	llama3.2-1b llama3.2-3b	预训练、SFT全参微调、LoRA微调	MindSpeed-LLM（原名ModelLink） LlamaFactory
Qwen2_VL	qwen2_vl-2b qwen2_vl-7b qwen2_vl-72b	预训练、SFT全参微调、LoRA微调	LlamaFactory

多模态模型

ModelArts针对以下主流的多模态模型进行了基于昇腾NPU的适配工作，可以直接使用适配过的模型在NPU上进行推理或训练。

表4 多模态模型基于Ascend-vLLM框架的推理
支持模型	支持模型参数量	应用场景	软件技术栈	指导文档
internVL2	internVL2-Llama3-76B	推理	Ascend-vLLM	主流开源大模型基于Lite Server适配Ascend-vLLM PyTorch NPU推理指导
MiniCPM	MiniCPM-v2.6	推理	Ascend-vLLM
Qwen2-vl	qwen2-vl-2B qwen2-vl-7B qwen2-vl-72B	推理	Ascend-vLLM
llava	llava-v1.6-7b llava-v1.6-13b llava-v1.6-34b	推理	Ascend-vLLM
llava-onevision-qwen2	llava-onevision-qwen2-0.5b-ov-hf llava-onevision-qwen2-7b-ov-hf	推理	Ascend-vLLM

表5 多模态模型基于PyTorch的训练推理
模型名称	应用场景	软件技术栈	指导文档
MiniCPM-V2.6	训练	PyTorch	MLLM多模态模型训练推理
MiniCPM-V2.0	训练推理	PyTorch
InternVL2	训练	PyTorch
LLaVA-NeXT	训练	PyTorch
LLama 3.2-Vision	训练	PyTorch
LLaMA-VID	推理	PyTorch
moondream2	推理	PyTorch

图像生成模型

ModelArts针对以下主流的AIGC文生图模型进行了基于昇腾NPU的适配工作，可以直接使用适配过的模型在NPU上进行推理或训练。

表6 文生图模型
模型名称	应用场景	软件技术栈	指导文档
Stable Diffusion XL（SDXL）	Diffusers推理 ComfyUI推理	PyTorch	Diffusers、ComfyUI套件基于ModelArts Lite Server适配PyTorch NPU的推理指导（6.5.906）
Stable Diffusion 1.5（SD1.5）	Diffusers推理 ComfyUI推理	PyTorch
Stable Diffusion 3.5（SD3.5）	Diffusers推理 ComfyUI推理	PyTorch
HUNYUAN	Diffusers推理 ComfyUI推理	PyTorch
VAR/XAR/RandAR/Infinity自回归图像生成模型	推理	PyTorch	VAR/XAR/RandAR/Infinity自回归图像生成模型基于Lite Server适配NPU推理指导（6.5.905)
DeepSeek Janus-Pro	推理	PyTorch	DeepSeek Janus-Pro模型基于ModelArts Lite Server适配PyTorch NPU推理指导（6.5.902）
Open-clip	训练	PyTorch	Open-Clip基于Lite Server适配PyTorch NPU训练指导

视频生成模型

表7 视频生成模型
模型名称	应用场景	软件技术栈	指导文档
Wan2.1系列	推理训练	PyTorch	视频生成模型训练推理
HunyuanVideo	推理	PyTorch
Cogvideo	推理	PyTorch
CogVideoX1.5 5b	推理训练	PyTorch
CogVideoX 5b	推理	PyTorch

内容审核模型

表8 内容审核模型
模型名称	应用场景	软件技术栈	指导文档
Bert	推理	MindSpore Lite	内容审核模型训练推理
Yolov8	推理	MindSpore Lite
Paraformer	推理	PyTorch

自动驾驶模型

表9 自动驾驶模型
模型名称	应用场景	软件技术栈	指导文档
OpenEMMA	推理	PyTorch	自动驾驶模型训练推理
Senna	训练	PyTorch
SparseDrive	训练	PyTorch
UniAD	训练	PyTorch
VAD	训练	PyTorch
MapTRv2	训练	PyTorch
OpenVLA	训练	PyTorch
PointPillar	训练	PyTorch
Sparse4D	训练	PyTorch

上一篇：ModelArts最佳实践案例列表

下一篇：DeepSeek基于MaaS推理和应用

意见反馈

文档内容是否对您有帮助？

有帮助没帮助

提供反馈

提交成功！非常感谢您的反馈，我们会继续努力做到更好！您可在我的云声建议查看反馈及问题处理状态。

系统繁忙，请稍后重试

在使用文档中是否遇到以下问题

内容与产品页面不一致

内容不易理解

缺失示例代码

步骤不可操作

搜不到想要的内容

缺少最佳实践

意见反馈（选填）

0/500

请至少选择一项反馈信息并填写问题反馈

字符长度不能超过500

直接提交取消

如您有其它疑问，您也可以通过华为云社区问答频道来与我们联系探讨

盘古Doer提问云社区提问