部署推理服务

前提条件

• 已准备好DevServer环境，具体参考资源规格要求。推荐使用“西南-贵阳一”Region上的DevServer和昇腾Snt9b资源。
• 确保容器可以访问公网。

Step1 检查环境

1. SSH登录机器后，检查NPU设备检查。运行如下命令，返回NPU设备信息。

   npu-smi info                    # 在每个实例节点上运行此命令可以看到NPU卡状态
   npu-smi info -l | grep Total    # 在每个实例节点上运行此命令可以看到总卡数

   如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。

2. 检查docker是否安装。

   docker -v   #检查docker是否安装

   如尚未安装，运行以下命令安装docker。

   yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64

3. 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。

   sysctl -p | grep net.ipv4.ip_forward

   如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置IP转发。

   sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf 
   sysctl -p | grep net.ipv4.ip_forward

Step2 获取推理镜像

建议使用官方提供的镜像部署推理服务。镜像地址{image_url}获取请参见表2。

Step3 上传代码包和权重文件

1. 上传安装依赖软件推理代码AscendCloud-3rdLLM-xxx.zip和算子包AscendCloud-OPP-xxx.zip到容器中，包获取路径请参见表1。
2. 将权重文件上传到DevServer机器中。权重文件的格式要求为Huggingface格式。开源权重文件获取地址请参见表3。

Step4 启动容器镜像

启动容器镜像前请先按照参数说明修改${}中的参数。

docker run -itd \
--device=/dev/davinci0 \
--device=/dev/davinci1 \
--device=/dev/davinci2 \
--device=/dev/davinci3 \
--device=/dev/davinci4 \
--device=/dev/davinci5 \
--device=/dev/davinci6 \
--device=/dev/davinci7 \
-v /etc/localtime:/etc/localtime  \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
-v /etc/ascend_install.info:/etc/ascend_install.info \
--device=/dev/davinci_manager \
--device=/dev/devmm_svm \
--device=/dev/hisi_hdc \
-v /var/log/npu/:/usr/slog \
-v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \
-v /sys/fs/cgroup:/sys/fs/cgroup:ro \
-v ${dir}:${container_work_dir} \
--net=host \
--name ${container_name} \
${image_id} \
/bin/bash

参数说明：

• --device=/dev/davinci0，...， --device=/dev/davinci7：挂载NPU设备，示例中挂载了8张卡davinci0~davinci7。
• -v ${dir}:${container_work_dir} 代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的大文件系统，dir为宿主机中文件目录，${container_work_dir}为要挂载到的容器中的目录。为方便两个地址可以相同。
  

  • 容器不能挂载到/home/ma-user目录，此目录为ma-user用户家目录。如果容器挂载到/home/ma-user下，拉起容器时会与基础镜像冲突，导致基础镜像不可用。
  • driver及npu-smi需同时挂载至容器。
  • 不要将多个容器绑到同一个NPU上，会导致后续的容器无法正常使用NPU功能。
• --name ${container_name}：容器名称，进入容器时会用到，此处可以自己定义一个容器名称。
• {image_id} 为docker镜像的ID，在宿主机上可通过docker images查询得到。

Step5 进入容器安装推理依赖软件

1. 通过容器名称进入容器中。默认使用ma-user用户执行后续命令。

   docker exec -it ${container_name} bash

2. 上传代码和权重到宿主机时使用的是root用户，此处需要执行如下命令统一文件属主为ma-user用户。

   #统一文件属主为ma-user用户
   sudo chown -R ma-user:ma-group  ${container_work_dir}
   # ${container_work_dir}:/home/ma-user/ws 容器内挂载的目录
   #例如：sudo chown -R ma-user:ma-group  /home/ma-user/ws

3. 解压算子包并将相应算子安装到环境中。

   unzip AscendCloud-OPP-*.zip
   pip install ascend_cloud_ops-1.0.0-py3-none-any.whl
   pip install cann_ops-1.0.0-py3-none-any.whl

4. 解压软件推理代码并安装依赖包。

   unzip AscendCloud-3rdLLM-*.zip
   cd llm_inference
   pip install -r requirements.txt

5. 运行推理构建脚本build.sh文件，会自动获取ascend_vllm_adapter文件夹中提供的vLLM相关算子代码。

   cd llm_inference
   bash build.sh

   运行完后，在当前目录下会生成ascend_vllm文件夹，即为昇腾适配后的vLLM代码。

Step6 启动推理服务

1. 配置需要使用的NPU卡编号。例如：实际使用的是第1张卡，此处填写“0”。

   export ASCEND_RT_VISIBLE_DEVICES=0

   如果启动服务需要使用多张卡，例如：实际使用的是第1张和第2张卡，此处填写为“0,1”，以此类推。

   export ASCEND_RT_VISIBLE_DEVICES=0,1

   

   NPU卡编号可以通过命令npu-smi info查询。

2. 配置PYTHONPATH。

   export PYTHONPATH=$PYTHONPATH:${vllm_path}

   ${vllm_path} 填写ascend_vllm文件夹绝对路径。

3. 高阶配置（可选）。
   1. 词表切分。

      在分布式场景下，默认不使用词表切分能提升推理性能，同时也会增加单卡的显存占用。不建议开启词表并行，如确需使用词表切分，配置以下环境变量：

      export USE_VOCAB_PARALLEL=1   #打开词表切分开关
      unset USE_VOCAB_PARALLEL      #关闭词表切分开关

      配置后重启服务生效。

   2. Matmul_all_reduce融合算子。

      使用Matmul_all_reduce融合算子能提升全量推理性能；该算子要求驱动和固件版本为Ascend HDK 24.1.RC1.B011及以上，默认不开启。如需开启，配置以下环境变量：

      export USE_MM_ALL_REDUCE_OP=1   #打开Matmul_all_reduce融合算子
      unset  USE_MM_ALL_REDUCE_OP     #关闭Matmul_all_reduce融合算子

      配置后重启服务生效。

   3. 查看详细日志。

      查看详细耗时日志可以辅助定位性能瓶颈，但会影响推理性能。如需开启，配置以下环境变量：

      export DETAIL_TIME_LOG=1   #打开打印详细日志
      export RAY_DEDUP_LOGS=0    #打开打印详细日志
      unset  DETAIL_TIME_LOG     #关闭打印详细日志

      配置后重启服务生效。

4. 启动服务与请求。此处提供vLLM服务API接口启动和OpenAI服务API接口启动2种方式。详细启动服务与请求方式参考：https://docs.vllm.ai/en/latest/getting_started/quickstart.html。
   

   以下服务启动介绍的是在线推理方式，离线推理请参见https://docs.vllm.ai/en/latest/getting_started/quickstart.html#offline-batched-inference。

   • 通过vLLM服务API接口启动服务

     在ascend_vllm目录下通过vLLM服务API接口启动服务，具体操作命令如下，API Server的命令相关参数说明如下，可以根据参数说明修改配置。

     python -m vllm.entrypoints.api_server --model ${container_model_path} \
     --max-num-seqs=256 \
     --max-model-len=4096 \
     --max-num-batched-tokens=4096 \
     --dtype=float16 \
     --tensor-parallel-size=1 \
     --block-size=128 \
     --host=${docker_ip} \
     --port=8080 \
     --gpu-memory-utilization=0.9 \
     --trust-remote-code

   • 通过OpenAI服务API接口启动服务

     在ascend_vllm目录下通OpenAI服务API接口启动服务，具体操作命令如下，可以根据参数说明修改配置。

     python -m vllm.entrypoints.openai.api_server --model ${container_model_path} \
     --max-num-seqs=256 \
     --max-model-len=4096 \
     --max-num-batched-tokens=4096 \
     --dtype=float16 \
     --tensor-parallel-size=1 \
     --block-size=128 \
     --host=${docker_ip} \
     --port=8080 \
     --gpu-memory-utilization=0.9 \
     --trust-remote-code

   具体参数说明如下：

   • --model ${container_model_path}：模型地址，模型格式是HuggingFace的目录格式。即Step3 上传代码包和权重文件上传的HuggingFace权重文件存放目录。如果使用的是训练后模型转换为HuggingFace格式的地址，还需要有Tokenizer原始文件。
   • --max-num-seqs：最大同时处理的请求数，超过后拒绝访问。
   • --max-model-len：推理时最大输入+最大输出tokens数量，输入超过该数量会直接返回。max-model-len的值必须小于config.json文件中的"seq_length"的值，否则推理预测会报错。config.json存在模型对应的路径下，例如：${container_work_dir}/chatglm3-6b/config.json。不同模型推理支持的max-model-len长度不同，具体差异请参见附录：基于vLLM（v0.3.2）不同模型推理支持的max-model-len长度说明。
   • --max-num-batched-tokens：prefill阶段，最多会使用多少token，必须大于或等于--max-model-len，推荐使用4096或8192。
   • --dtype：模型推理的数据类型。支持FP16和BF16数据类型推理。float16表示FP16，bfloat16表示BF16。
   • --tensor-parallel-size：模型并行数。取值需要和启动的NPU卡数保持一致，可以参考1。此处举例为1，表示使用单卡启动服务。
   • --block-size：PagedAttention的block大小，推荐设置为128。
   • --host=${docker_ip}：服务部署的IP，${docker_ip}替换为宿主机实际的IP地址。
   • --port：服务部署的端口。
   • --gpu-memory-utilization：NPU使用的显存比例，复用原vLLM的入参名称，默认为0.9。
   • --trust-remote-code：是否相信远程代码。
   服务启动后，会打印如下类似信息。

   server launch time cost: 15.443044185638428 s INFO:     Started server process [2878]INFO:     Waiting for application startup. INFO:     Application startup complete. INFO:     Uvicorn running on http://0.0.0.0:8080 (Press CTRL+C to quit)

Step7 推理请求

使用命令测试推理服务是否正常启动。服务启动命令中的参数设置请参见表1。

• 方式一：通过OpenAI服务API接口启动服务使用以下推理测试命令。${docker_ip}替换为实际宿主机的IP地址。${container_model_path}请替换为实际使用的模型名称。

  curl -X POST http://${docker_ip}:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
      "model": "${container_model_path}",
      "messages": [
          {
              "role": "user",
              "content": "hello"
          }
      ],
      "max_tokens": 100,
      "top_k": -1,
      "top_p": 1,
      "temperature": 0,
      "ignore_eos": false,
      "stream": false
  }'

• 方式二：通过vLLM服务API接口启动服务使用以下推理测试命令。下面以Llama系列模型采样方式支持presence_penalty参数的发送请求为例。此处的接口8080需和Step4 启动容器镜像中设置的宿主机端口保持一致。${docker_ip}替换为实际宿主机的IP地址。

  curl -X POST http://${docker_ip}:8080/generate \
  -H "Content-Type: application/json" \
  -d '{
  "prompt": "hello",
  "max_tokens": 100,
  "temperature": 0,
  "ignore_eos": false,
  "presence_penalty":2
   }'

  下面以Llama系列模型采样方式支持length_penalty参数的发送请求为例。${docker_ip}替换为实际宿主机的IP地址。

  curl -X POST http:/${docker_ip}:8080/generate \
  -H "Content-Type: application/json" \
  -d '{
  "prompt": "hello",
  "max_tokens": 100,
  "top_p": 1,
  "temperature": 0,
  "ignore_eos": false,
  "top_k": -1,
  "use_beam_search":true,
  "best_of":2,
  "length_penalty":2
   }'

服务的API与vLLM官网相同，此处介绍关键参数。详细参数解释请参见官网https://docs.vllm.ai/en/stable/dev/sampling_params.html。

附录：基于vLLM（v0.3.2）不同模型推理支持的max-model-len长度说明

基于vLLM（v0.3.2）部署推理服务时，不同模型推理支持的max-model-len长度说明如下面的表格所示。如需达到以下值，需要将--gpu-memory-utilization设为0.9，qwen系列、qwen1.5系列、llama3系列模型还需打开词表切分配置export USE_VOCAB_PARALLEL=1。

说明：机器型号规格以卡数*显存大小为单位，如4*64GB代表4张64GB显存的NPU卡。