昇腾能力应用地图

ModelArts支持如下开源模型基于Ascend卡进行训练和推理。

ModelArts针对以下主流的LLM大模型进行了基于昇腾NPU的适配工作，可以直接使用适配过的模型进行推理训练。

表1 LLM模型训练能力
支持模型	支持模型参数量	应用场景	软件技术栈	指导文档
Llama2	Llama2-7b Llama2-13b Llama2-70b	预训练、SFT全参微调、LoRA微调	ModelLink LLaMAFactory	主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导（6.3.907）主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导（6.3.907）主流开源大模型基于Standard+OBS适配PyTorch NPU训练指导（6.3.907）主流开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导（6.3.907）
Llama3	Llama3-8b Llama3-70b	预训练、SFT全参微调、LoRA微调	ModelLink LlamaFactory
Qwen	qwen-7b qwen-14b qwen-72b	预训练、SFT全参微调、LoRA微调	ModelLink LlamaFactory
Qwen1.5	qwen1.5-7b qwen1.5-14b qwen1.5-32b qwen1.5-72b	预训练、SFT全参微调、LoRA微调	ModelLink LlamaFactory
Qwen2	qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b	预训练、SFT全参微调、LoRA微调	ModelLink LlamaFactory
Yi	yi-6b yi-34b	预训练、SFT全参微调、LoRA微调	ModelLink LlamaFactory
ChatGLMv3	glm3-6b	预训练、SFT全参微调、LoRA微调	ModelLink LlamaFactory
GLMv4	glm4-9b	预训练、SFT全参微调、LoRA微调	ModelLink LlamaFactory
Baichuan2	baichuan2-13b	预训练、SFT全参微调、LoRA微调	ModelLink LlamaFactory

表2 LLM模型推理能力
支持模型	支持模型参数量	应用场景	软件技术栈	指导文档
Llama	Llama-7b Llama-13b Llama-65b	推理	Ascend-vLLM	主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.907）主流开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.907）
Llama2	Llama2-7b Llama2-13b Llama2-70b	推理	Ascend-vLLM
Llama3	Llama3-8b Llama3-70b	推理	Ascend-vLLM
Yi	yi-6b yi-9b yi-34b	推理	Ascend-vLLM
deepseek	deepseek-llm-7b deepseek-llm-67b deepseek-coder-instruct-33b	推理	Ascend-vLLM
Qwen	qwen-7b qwen-14b qwen-72b	推理	Ascend-vLLM
Qwen1.5	qwen1.5-0.5b qwen1.5-7b qwen1.5-1.8b qwen1.5-14b qwen1.5-32b qwen1.5-72b qwen1.5-110b	推理	Ascend-vLLM
Qwen2	qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b	推理	Ascend-vLLM
Baichuan2	baichuan2-7b baichuan2-13b	推理	Ascend-vLLM
gemma	gemma-2b gemma-7b	推理	Ascend-vLLM
ChatGLM2	chatglm2-6b	推理	Ascend-vLLM
ChatGLM4	chatglm3-6b	推理	Ascend-vLLM
GLMv4	glm4-9b	推理	Ascend-vLLM
mistral	mistral-7b mistral-8x7b	推理	Ascend-vLLM

ModelArts针对以下主流的AIGC模型进行了基于昇腾NPU的适配工作，可以直接使用适配过的模型进行推理训练。

表3 AIGC模型
模型名称	应用场景	软件技术栈	指导文档
Stable Diffusion 1.5 Stable Diffusion XL Stable Diffusion 3	SFT全量微调训练 LoRA微调训练	Diffusers训练、Kohya训练、PyTorch	SD1.5&SDXL Diffusers框架基于DevServer适配PyTorch NPU推理指导（6.3.908） SDXL基于Standard适配PyTorch NPU的LoRA训练指导（6.3.908） SD1.5&SDXL Koyha框架基于DevServer适配PyTorch NPU训练指导（6.3.908）
	WebUI推理	WebUI推理、PyTorch	4.9-SD WEBUI套件适配PyTorch NPU的推理指导
Open-Sora-Plan	训练推理	PyTorch	Open-Sora-Plan1.0基于DevServer适配PyTorch NPU训练推理指导（6.3.907）
Qwen-VL	训练推理	PyTorch	Qwen-VL基于DevServer适配Pytorch NPU的Finetune训练指导(6.3.906) Qwen-VL基于DevServer适配Pytorch NPU的推理指导(6.3.906)
LLaVA	训练推理	PyTorch	LLaVA模型基于DevServer适配PyTorch NPU预训练指导（6.3.906） LLaVA模型基于DevServer适配PyTorch NPU推理指导（6.3.906）
Open-clip	训练推理	PyTorch	Open-Clip基于DevServer适配PyTorch NPU训练指导

表4 数字人模型
模型名称	应用场景	软件技术栈	指导文档
Wav2Lip	训练	PyTorch	Wav2Lip训练基于DevServer适配PyTorch NPU训练指导（6.3.907）
Wav2Lip	推理	PyTorch	Wav2Lip推理基于DevServer适配PyTorch NPU推理指导（6.3.907）

提供反馈

提交成功！非常感谢您的反馈，我们会继续努力做到更好！您可在我的云声建议查看反馈及问题处理状态。

系统繁忙，请稍后重试

在使用文档中是否遇到以下问题

内容与产品页面不一致

内容不易理解

缺失示例代码

步骤不可操作

搜不到想要的内容

缺少最佳实践

意见反馈（选填）

0/500

请至少选择一项反馈信息并填写问题反馈

字符长度不能超过500

直接提交取消

如您有其它疑问，您也可以通过华为云社区问答频道来与我们联系探讨

7*24