模型能力地图
本章节主要介绍ModelArts平台适配验证过的基于Ascend-vLLM框架的推理模型。
来源于第三方开源社区或用户自备模型,ModelArts平台无法保证这些模型的性能和能力,请酌情使用。
DeepSeek系列
| 模型 | 任务类型 | 部署模式 | 支持机型 | 推荐规格 Snt9b23 1卡=2die Snt9b 1卡=1die | 参考文档 |
|---|---|---|---|---|---|
| DeepSeek-V4-Pro | Agent | PD分离 | Snt9b23 | 4机(1P1D) | |
| DeepSeek-V4-Flash | 文本对话 | PD分离 | Snt9b23 | 8机(4P1D) prefill:4机 decode:4机 | |
| PD分离 | Snt9b(376T) | 2机(1P1D) prefill:1机 decode:1机 | |||
| PD分离 | Snt9b(313T) | 2机(1P1D) prefill:1机 decode:1机 | |||
| DeepSeek-V3.2 | 文本对话 | PD分离 | Snt9b23 | 8机(2P1D) prefill:2机 decode:4机 | |
| 文本对话 | PD分离 | Snt9b | 8机(1P1D) prefill:4机 decode:4机 | ||
| 文本对话 | 混部 | Snt9b23 | 2机 | ||
| 文本对话 | 混部 | Snt9b | 4机 | ||
| DeepSeek V3.1-Terminus | 文本对话 | PD分离 | Snt9b23 | 3机(1P1D) 6机(4P1D) prefill:1机 decode:2机/4机 |
Qwen3系列
| 模型 | 任务类型 | 部署模式 | 支持机型 | 推荐规格 Snt9b23 1卡=2die Snt9b 1卡=1die | 参考文档 |
|---|---|---|---|---|---|
| Qwen3.6-35B-A3B | 文本对话 | PD分离 | Snt9b23 | 1机(2P1D) | |
| Qwen3.5-122B-A10B | 文本对话+图像理解 | PD分离 | Snt9b23 | 2.5机 基础规格(3P1D) 高性能规格(6P1D) | |
| 文本对话 | 混部 | Snt9b | 1机8卡 | ||
| Qwen3.5-35B-A3B | 文本对话 图像视频理解 | 混部 | Snt9b | 1机8卡 | |
| Qwen3-32B | 文本对话 | PD分离 | Snt9b23 | 1机(1P1D) prefill:4卡 decode:4卡 | |
| Qwen3-235B-A22B-Instruct-2507 | 文本对话 | PD分离 | Snt9b23 | 2机(2P1D) prefill:4卡 decode:1机 | |
| 文本对话 | PD分离 | Snt9b23 | 2机(1P1D) | ||
| Qwen3-30B-A3B-Instruct-2507 | 文本对话 | PD分离 | Snt9b23 | 2机(1P1D) prefill:1机 decode:1机 | |
| Qwen3-30B-A3B-thinking-2507 | 文本对话 | PD分离 | Snt9b23 | 2机(1P1D) prefill:1机 decode:1机 |
GLM系列
| 模型 | 任务类型 | 部署模式 | 支持机型 | 推荐规格 Snt9b23 1卡=2die Snt9b 1卡=1die | 参考文档 |
|---|---|---|---|---|---|
| GLM-5.1 | 文本对话 | PD分离 | Snt9b23 | 4机(1P1D) prefill:32die decode:32die | |
| 文本对话 | PD分离 | Snt9b23 | 8机(3P1D) | ||
| 文本对话 | PD分离 | Snt9b | 1P1D | ||
| GLM-5 | 文本对话 | PD分离 | Snt9b23 | 4机(1P1D) prefill:32die decode:32die |
Kimi系列
| 模型 | 任务类型 | 部署模式 | 支持机型 | 推荐规格 Snt9b23 1卡=2die Snt9b 1卡=1die | 参考文档 |
|---|---|---|---|---|---|
| Kimi-K2-Instruct | 文本对话 | PD分离 | Snt9b23 | 4机(1P1D) prefill:32die decode:32die |
GPT系列
| 模型 | 任务类型 | 部署模式 | 支持机型 | 推荐规格 Snt9b23 1卡=2die Snt9b 1卡=1die | 参考文档 |
|---|---|---|---|---|---|
| GPT-OSS-120B | 文本对话 | PD分离 | Snt9b23 | 1机(1P1D) | |
| 文本对话 | PD分离 | Snt9b | 1机(1P1D) | ||
| GPT-OSS-20B | 文本对话 | PD分离 | Snt9b23 | 2die(1P1D) 1机1卡 | |
| 文本对话 | PD分离 | Snt9b | 2die(1P1D) 1机2卡 |