模型能力地图
本章节介绍ModelArts平台适配验证过的推理模型(基于Ascend-vLLM框架)。
来源于第三方开源社区或用户自备模型,ModelArts平台无法保证这些模型的性能和能力,请酌情使用。
大语言&多模态推理部署
| 模型 | 任务类型 | 部署模式 | 支持机型 | 推荐规格 Snt9b23 1卡=2die Snt9b 1卡=1die | 参考文档 |
|---|---|---|---|---|---|
| Deepseek-V4-Pro | Agent | PD分离 | Snt9b23 | 4机(1P1D) | |
| Deepseek-V4-Flash | 文本对话 | PD分离 | Snt9b23 | 8机(4P1D) prefill:4机 decode:4机 | |
| PD分离 | Snt9b(376T) | 2机(1P1D) prefill:1机 decode:1机 | |||
| PD分离 | Snt9b(313T) | 2机(1P1D) prefill:1机 decode:1机 | |||
| DeepSeek-V3.2 | 文本对话 | PD分离 | Snt9b23 | 8机(2P1D) prefill:2机 decode:4机 | |
| 文本对话 | PD分离 | Snt9b | 8机(1P1D) prefill:4机 decode:4机 | ||
| 文本对话 | 混部 | Snt9b23 | 2机 | ||
| 文本对话 | 混部 | Snt9b | 4机 | ||
| Deepseek V3.1-Terminus | 文本对话 | PD分离 | Snt9b23 | 3机(1P1D) 6机(4P1D) prefill:1机 decode:2机/4机 |
| 模型 | 任务类型 | 部署模式 | 支持机型 | 推荐规格 Snt9b23 1卡=2die Snt9b 1卡=1die | 参考文档 |
|---|---|---|---|---|---|
| Qwen3.6-35B-A3B | 文本对话 | PD分离 | Snt9b23 | 1机(2P1D) | |
| Qwen3.5-122B-A10B | 文本对话+图像理解 | PD分离 | Snt9b23 | 2.5机 基础规格(3P1D) 高性能规格(6P1D) | |
| 文本对话 | 混部 | Snt9b | 1机8卡 | ||
| Qwen3.5-35B-A3B | 文本对话 图像视频理解 | 混部 | Snt9b | 1机8卡 | |
| Qwen3-32B | 文本对话 | PD分离 | Snt9b23 | 1机(1P1D) prefill:4卡 decode:4卡 | |
| Qwen3-235B-A22B-Instruct-2507 | 文本对话 | PD分离 | Snt9b23 | 2机(2P1D) prefill:4卡 decode:1机 | |
| 文本对话 | PD分离 | Snt9b23 | 2机(1P1D) | ||
| Qwen3-30B-A3B-Instruct-2507 | 文本对话 | PD分离 | Snt9b23 | 2机(1P1D) prefill:1机 decode:1机 | |
| Qwen3-30B-Snt9b23B-thinking-2507 | 文本对话 | PD分离 | Snt9b23 | 2机(1P1D) prefill:1机 decode:1机 |
| 模型 | 任务类型 | 部署模式 | 支持机型 | 推荐规格 Snt9b23 1卡=2die Snt9b 1卡=1die | 参考文档 |
|---|---|---|---|---|---|
| Kimi-K2-Instruct | 文本对话 | PD分离 | Snt9b23 | 4机(1P1D) prefill:32die decode:32die |
| 模型 | 任务类型 | 部署模式 | 支持机型 | 推荐规格 Snt9b23 1卡=2die Snt9b 1卡=1die | 参考文档 |
|---|---|---|---|---|---|
| GLM-5.1 | 文本对话 | PD分离 | Snt9b23 | 4机(1P1D) prefill:32die decode:32die | |
| 文本对话 | PD分离 | Snt9b23 | 8机(3P1D) | ||
| 文本对话 | PD分离 | Snt9b | 1P1D | ||
| GLM-5 | 文本对话 | PD分离 | Snt9b23 | 4机(1P1D) prefill:32die decode:32die | |
| GLM-4.6 | 文本对话 | PD分离 | Snt9b23 | 6机(1P1D) prefill:1机 decode:5机 |
| 模型 | 任务类型 | 部署模式 | 支持机型 | 推荐规格 Snt9b23 1卡=2die Snt9b 1卡=1die | 参考文档 |
|---|---|---|---|---|---|
| GPT-OSS-120B | 文本对话 | PD分离 | Snt9b23 | 1机(1P1D) | |
| 文本对话 | PD分离 | Snt9b | 1机(1P1D) | ||
| GPT-OSS-20B | 文本对话 | PD分离 | Snt9b23 | 2die(1P1D) 1机1卡 | |
| 文本对话 | PD分离 | Snt9b | 2die(1P1D) 1机2卡 |