昇腾能力应用地图

ModelArts支持如下开源模型昇腾NPU进行训练和推理。

DeepSeek系列模型

表1 DeepSeek系列模型
支持模型	应用场景	软件技术栈	指导文档
DeepSeek-R1	推理	Ascend-vLLM	DeepSeek&Qwen3基于Lite Server&Cluster推理
DeepSeek-V3/V3.1	推理	Ascend-vLLM	DeepSeek&Qwen3基于Lite Server&Cluster推理

LLM大语言模型

ModelArts针对以下主流的LLM大模型进行了基于昇腾NPU的适配工作，可以直接使用适配过的模型在NPU上进行推理训练。

表2 LLM模型推理能力
支持模型	支持模型参数量	应用场景	软件技术栈	指导文档
Llama3系列	Llama3-8B Llama3-70B llama3.1-8B llama3.1-70B llama-3.2-1B llama-3.2-3B	推理	Ascend-vLLM	主流开源大模型基于Lite Server适配Ascend-vLLM PyTorch NPU推理指导
Qwen2系列	Qwen2-0.5B Qwen2-1.5B Qwen2-7B Qwen2-72B	推理	Ascend-vLLM
Qwen2.5系列	Qwen2.5-0.5B Qwen2.5-1.5B Qwen2.5-3B Qwen2.5-7B Qwen2.5-14B Qwen2.5-32B Qwen2.5-72B	推理	Ascend-vLLM
Qwen3系列	Qwen3-0.6B Qwen3-1.7B Qwen3-4B Qwen3-8B Qwen3-14B Qwen3-30B-A3B Qwen3-32B Qwen3-235B-A22B Qwen3-235B-A22B-Thinking-2507 Qwen3-235B-A22B-Instruct-2507 Qwen3-Coder-480B-A35B Qwen3-Embedding-0.6B Qwen3-Embedding-4B Qwen3-Embedding-8B Qwen3-Reranker-0.6B Qwen3-Reranker-4B Qwen3-Reranker-8B	推理	Ascend-vLLM
GLMv4	GLM-4-9B	推理	Ascend-vLLM
bge系列	bge-reranker-v2-m3 bge-base-en-v1.5 bge-base-zh-v1.5 bge-large-en-v1.5 bge-large-zh-v1.5 bge-m3
DeepSeek-R1-Distill系列	DeepSeek-R1-Distill-Llama-8B DeepSeek-R1-Distill-Llama-70B DeepSeek-R1-Distill-Qwen-1.5B DeepSeek-R1-Distill-Qwen-7B DeepSeek-R1-Distill-Qwen-14B DeepSeek-R1-0528-Qwen3-8B	推理	Ascend-vLLM

表3 LLM模型训练能力
支持模型	支持模型参数量	应用场景	指导文档
DeepSeek系列	DeepSeek-R1-671B DeepSeek-V3-671B DeepSeek-V2-Lite 16B	预训练、微调	主流开源大模型适配NPU的AscendFactory训练框架开发指导
Llama系列	Llama3.1 -8B/70B Llama3.2 -1B/3B	预训练、微调
Qwen2系列	Qwen2-0.5B Qwen2-1.5B Qwen2-7B Qwen2-72B	预训练、微调
Qwen2.5系列	Qwen2.5-0.5B Qwen2.5-1.5B Qwen2.5-7B Qwen2.5-14B Qwen2.5-32B Qwen2.5-72B	预训练、微调
Qwen3系列	Qwen3-0.6B Qwen3-1.7B Qwen3-4B Qwen3-8B Qwen3-14B Qwen3-32B Qwen3-30B-A3B Qwen3-235B-A22B	预训练、微调
GLM-4	GLM-4-9B-Chat	预训练、微调
Mistral AI系列	Mixtral-8x7B-Instruct-v0.1	预训练、微调

多模态模型

ModelArts针对以下主流的多模态模型进行了基于昇腾NPU的适配工作，可以直接使用适配过的模型在NPU上进行推理或训练。

表4 多模态模型基于Ascend-vLLM框架的推理
支持模型	支持模型参数量	应用场景	软件技术栈	指导文档
Qwen2-VL系列	Qwen2-VL-2B Qwen2-VL-7B Qwen2-VL-72B	推理	Ascend-vLLM	主流开源大模型基于Lite Server适配Ascend-vLLM框架NPU推理指导
Qwen2.5-VL系列	Qwen2.5-VL-2B Qwen2.5-VL-7B Qwen2.5-VL-72B	推理	Ascend-vLLM
InternVL系列	InternVL2.5-26B InternVL2-llama3-76B-AWQ InternVL3-8B InternVL3-14B InternVL3-38B InternVL3-78B	推理	Ascend-vLLM
GEMMA	GEMMA-3-27B	推理	Ascend-vLLM

图像生成模型

ModelArts针对以下主流的AIGC图像生成模型进行了基于昇腾NPU的适配工作，可以直接使用适配过的模型在NPU上进行推理或训练。

表5 文生图模型
模型名称	应用场景	软件技术栈	指导文档
Qwen-Image Qwen-Image-Edit	Diffusers推理 ComfyUI推理	PyTorch	Qwen-Image、Qwen-Image-Edit基于Lite Server适配NPU推理指导
Stable Diffusion XL（SDXL）	Diffusers推理 ComfyUI推理	PyTorch	SD系列模型对应Diffusers/ComfyUI框架基于Lite Server适配NPU推理指导
Stable Diffusion 1.5（SD1.5）	Diffusers推理 ComfyUI推理	PyTorch
Stable Diffusion 3.5（SD3.5）	Diffusers推理 ComfyUI推理	PyTorch
HUNYUAN	Diffusers推理	PyTorch
VAR/XAR/RandAR/Infinity自回归图像生成模型	推理	PyTorch	VAR/XAR/RandAR/Infinity自回归图像生成模型基于Lite Server适配NPU推理指导
DeepSeek Janus-Pro	推理	PyTorch	DeepSeek Janus-Pro模型基于ModelArts Lite Server适配PyTorch NPU推理指导
Open-clip	训练	PyTorch	Open-Clip基于Lite Server适配NPU训练指导

视频生成模型

表6 视频生成模型
模型名称	应用场景	软件技术栈	指导文档
Wan2.1系列	推理训练	PyTorch	视频生成模型训练推理
Wan2.2系列	推理训练
HunyuanVideo	推理	PyTorch
CogVideoX1.5 5b	推理	PyTorch
CogVideoX 5b	推理	PyTorch

内容审核模型

表7 内容审核模型
模型名称	应用场景	软件技术栈	指导文档
Bert	推理	MindSpore Lite	内容审核模型训练推理
Yolov8	推理	MindSpore Lite
Paraformer	推理	PyTorch

自动驾驶模型

表8 自动驾驶模型
模型名称	应用场景	软件技术栈	指导文档
OpenEMMA	推理	PyTorch	自动驾驶模型训练推理
Senna	训练	PyTorch
SparseDrive	训练	PyTorch
UniAD	训练	PyTorch
VAD	训练	PyTorch
MapTRv2	训练	PyTorch
OpenVLA	训练	PyTorch
PointPillar	训练	PyTorch
Sparse4D	训练	PyTorch

上一篇：ModelArts最佳实践案例列表

下一篇：DeepSeek基于MaaS推理和应用

意见反馈

文档内容是否对您有帮助？

有帮助没帮助

提供反馈

提交成功！非常感谢您的反馈，我们会继续努力做到更好！您可在我的云声建议查看反馈及问题处理状态。

系统繁忙，请稍后重试

在使用文档中是否遇到以下问题

内容与产品页面不一致

内容不易理解

缺失示例代码

步骤不可操作

搜不到想要的内容

缺少最佳实践

意见反馈（选填）

0/500

请至少选择一项反馈信息并填写问题反馈

字符长度不能超过500

直接提交取消

如您有其它疑问，您也可以通过华为云社区问答频道来与我们联系探讨

盘古Doer提问云社区提问