文档首页/ AI开发平台ModelArts/ 最佳实践/ LLM大语言模型推理/ LLM大语言模型推理历史版本文档/ 主流开源大模型基于Lite Server适配Ascend-vLLM PyTorch NPU推理指导（6.5.901）/ 版本说明和要求
更新时间：2025-07-29 GMT+08:00
查看PDF
分享

版本说明和要求

资源规格要求

本文档中的模型运行环境是ModelArts Lite的弹性节点Server。推荐使用“西南-贵阳一”Region上的资源和Ascend Snt9B。

请参考Lite Server资源开通，购买Lite Server资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。

当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。

Ascend-vLLM版本

本方案支持vLLM的v0.6.3版本。

镜像版本

本方案中用到的基础镜像地址和配套版本关系如下表所示，请提前了解。

表1 基础容器镜像地址

镜像用途

镜像地址

配套版本

基础镜像

swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc3-py_3.9-hce_2.0.2409-aarch64-snt9b-20241213131522-aafe527

cann_8.0.rc3

软件配套版本

本方案支持的软件配套版本和依赖包获取地址如表2所示。

表2 软件配套版本和获取地址

软件名称

说明

下载地址

AscendCloud-6.5.901-xxx.zip

说明：

软件包名称中的xxx表示时间戳。

包含了本教程中使用到的推理部署代码和推理评测代码、推理依赖的算子包。代码包具体说明请参见软件包结构说明。

获取路径：Support-E，在此路径中查找下载ModelArts 6.5.901 版本。

说明：

如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。

软件包结构说明

本教程需要使用到的AscendCloud-xxx中的AscendCloud-LLM-xxx.zip软件包和算子包AscendCloud-OPP，AscendCloud-LLM关键文件介绍如下。 
|——AscendCloud-LLM
 ├──llm_inference  # 推理代码
    ├──ascend_vllm 
          ├── vllm_npu       # 推理源码
          ├── ascend_vllm-0.6.3-py3-none-any.whl   # 推理安装包
          ├── build.sh                 # 推理构建脚本
          ├── vllm_install.patch       # 社区昇腾适配的补丁包
          ├── Dockerfile               # 推理构建镜像dockerfile
          ├── build_image.sh           # 推理构建镜像启动脚本
 ├──llm_tools           # 推理工具包
   ├──AutoSmoothQuant  # W8A8量化工具
          ├── ascend_autosmoothquant_adapter  # 昇腾量化使用的算子模块
          ├── autosmoothquant_ascend          # 量化代码
          ├── build.sh                        # 安装量化模块的脚本
   ├──AutoAWQ              # W4A16量化工具
        ├──convert_awq_to_npu.py   # awq权重转换脚本 
        ├──quantize.py   # 昇腾适配的量化转换脚本
        ├──build.sh      # 安装量化模块的脚本
   ├──llm_evaluation    # 推理评测代码包
      ├──benchmark_tools    #性能评测
          ├── benchmark.py     # 可以基于默认的参数跑完静态benchmark和动态benchmark
          ├── benchmark_parallel.py   # 评测静态性能脚本
          ├── benchmark_serving.py    # 评测动态性能脚本
          ├── benchmark_utils.py      # 抽离的工具集
          ├── generate_datasets.py    # 生成自定义数据集的脚本
          ├── requirements.txt        # 第三方依赖
      ├──benchmark_eval #精度评测
          ├──opencompass.sh       #运行opencompass脚本
          ├──install.sh             #安装opencompass脚本
          ├──vllm_api.py          #启动vllm api服务器
          ├──vllm.py             #构造vllm评测配置脚本名字

相关文档