文档首页/
AI开发平台ModelArts/
最佳实践/
LLM大语言模型推理/
LLM大语言模型推理历史版本文档/
主流开源大模型基于Lite Server&Cluster适配Ascend-vLLM PyTorch NPU推理指导（6.5.905）/
部署依赖包/
部署依赖包版本说明
更新时间：2025-07-29 GMT+08:00
部署依赖包版本说明
- Ascend-vllm（v0.8.5.post1）：推理引擎，详情见Ascend-vLLM介绍。
- NPU驱动版本：Ascend Snt9b（24.1.0.3）、Ascend Snt9b23（24.1.RC3.5)。
- 依赖组件, 如表1和表2所示。
- 权重文件：见表1。
- 镜像文件：表2。
- 配套的软件版本：表1。
|
资源环境 |
推理部署方式 |
组件 |
版本号 |
功能说明 |
获取方式 |
|---|---|---|---|---|---|
|
Lite Cluster |
通过k8s单机部署 |
不需要额外安装，Volcano（1.16.8）、modelarts-device-plugin（7.0.0-20250416163444）、ascend-vllm在LiteCluster资源开通后自动安装。 |
|||
|
通过kubeinfer多机部署 |
1.5.0.20250508155821 |
Kubeinfer插件镜像 |
swr.cn-east-4.myhuaweicloud.com/atelier/modelarts-infers-operator:1.5.0.20250508155821 |
||
父主题： 部署依赖包
