文档首页/ AI开发平台ModelArts/ 最佳实践/ LLM大语言模型推理/ LLM大语言模型推理历史版本文档/ 主流开源大模型基于Lite Server&Cluster适配Ascend-vLLM PyTorch NPU推理指导（6.5.905）/ Server部署推理服务/ 部署准备
更新时间：2025-07-29 GMT+08:00
查看PDF
分享

部署准备

步骤一：检查环境

步骤一：检查环境，检查NPU设备、容器内的网络访问等情况。

步骤二：获取基础镜像

建议使用官方提供的镜像部署推理服务。镜像地址{image_url}获取请参见表 基础容器镜像地址。

docker pull {image_url}

步骤三：上传模型权重文件

  1. 上传安装依赖软件推理代码AscendCloud-LLM-xxx.zip和算子包AscendCloud-OPP-xxx.zip到主机中，包获取路径请参见表1。
  2. 将权重文件上传到Server机器中。权重文件的格式要求为Huggingface格式。开源权重文件获取地址请参见表1。

    如果使用模型训练后的权重文件进行推理，模型训练及训练后的权重文件转换操作可以参考大模型训练相关文档。

  3. 权重要求放在宿主机的指定目录，并做目录大小检查，参考命令如下。 
    df -h

步骤四：制作推理镜像

步骤三：制作推理镜像，运行完后，会生成推理所需镜像。

相关文档