# 各模型支持的最小卡数和最大序列
基于vLLM部署推理服务时，不同模型推理支持的最小昇腾卡数和对应卡数下的max-model-len长度说明，如下面的表格所示。
以下值是在gpu-memory-utilization为0.95时测试得出，为服务部署所需的最小昇腾卡数及该卡数下推荐的最大max-model-len长度，不代表最佳性能。
以Qwen3-8B为例，NPU卡显存为64GB时，至少需要1张卡运行推理业务，1张卡运行的情况下，推荐的最大序列max-model-len长度最大是32K，此处的单位K是1024，即32\*1024。
测试方法：gpu-memory-utilization设置为0.95，以4k、8k、16k递增max-model-len，直至达到能执行静态benchmark下的最大max-model-len。
 表1基于vLLM不同模型推理支持最小卡数和最大序列说明（大语言模型） 
|    序号    |                                   **模型名**                                   | **64GB显存**  || **备注**  |
|    序号    |                                   **模型名**                                   | **备注** |
|---|---|---|---|---|
| **最小卡数** | **最大序列(K)** **max-model-len** |
| **1**    | Qwen2.5-14B-Instruct                                                        | 1      | 32  | /       |
| **2**    | Qwen3-8B                                                                    | 1      | 32  | /       |
| **3**    | Qwen3-32B                                                                   | 2      | 32  | /       |
| **4**    | Qwen3-Embedding-8B                                                          | 1      | 40  | /       |
| **5**    | Qwen3-Reranker-8B                                                           | 1      | 40  | 仅支持1卡部署 |
| **6**    | bge-large-en-v1.5                                                           | 1      | 0.5 | /       |