部署推理服务

前提条件

• 已准备好DevServer环境，具体参考资源规格要求。推荐使用“西南-贵阳一”Region上的DevServer和昇腾Snt9b资源。
• 安装过程需要连接互联网git clone，确保容器可以访问公网。

Step1 检查环境

1. SSH登录机器后，检查NPU设备检查。运行如下命令，返回NPU设备信息。

   npu-smi info                    # 在每个实例节点上运行此命令可以看到NPU卡状态
   npu-smi info -l | grep Total    # 在每个实例节点上运行此命令可以看到总卡数
   npu-smi info -t board -i 1 | egrep -i "software|firmware"   #查看驱动和固件版本

   如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。

   驱动版本要求是23.0.5。如果不符合要求请参考安装固件和驱动章节升级驱动。

2. 检查docker是否安装。

   docker -v   #检查docker是否安装

   如尚未安装，运行以下命令安装docker。

   yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64

3. 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。

   sysctl -p | grep net.ipv4.ip_forward

   如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置IP转发。

   sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf
   sysctl -p | grep net.ipv4.ip_forward

Step2 获取基础镜像

建议使用官方提供的镜像部署推理服务。镜像地址{image_url}获取请参见表1。

Step3 上传代码包和权重文件

1. 上传安装依赖软件推理代码AscendCloud-LLM-6.3.906-xxx.zip和算子包AscendCloud-OPP-6.3.906-xxx.zip到主机中，包获取路径请参见表2。
2. 将权重文件上传到DevServer机器中。权重文件的格式要求为Huggingface格式。开源权重文件获取地址请参见表3。

   如果使用模型训练后的权重文件进行推理，需要上传训练后的权重文件和开源的原始权重文件。模型训练及训练后的权重文件转换操作可以参考相关文档章节中提供的模型训练文档。

Step4 启动容器镜像

启动容器镜像前请先按照参数说明修改${}中的参数。

docker run -itd \
--device=/dev/davinci0 \
--device=/dev/davinci1 \
--device=/dev/davinci2 \
--device=/dev/davinci3 \
--device=/dev/davinci4 \
--device=/dev/davinci5 \
--device=/dev/davinci6 \
--device=/dev/davinci7 \
-v /etc/localtime:/etc/localtime  \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
-v /etc/ascend_install.info:/etc/ascend_install.info \
--device=/dev/davinci_manager \
--device=/dev/devmm_svm \
--device=/dev/hisi_hdc \
-v /var/log/npu/:/usr/slog \
-v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \
-v /sys/fs/cgroup:/sys/fs/cgroup:ro \
-v ${dir}:${container_work_dir} \
--net=host \
--name ${container_name} \
${image_id} \
/bin/bash

参数说明：

• --device=/dev/davinci0，...， --device=/dev/davinci7：挂载NPU设备，示例中挂载了8张卡davinci0~davinci7。
• -v ${dir}:${container_work_dir} 代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的大文件系统，dir为宿主机中文件目录，${container_work_dir}为要挂载到的容器中的目录。为方便两个地址可以相同。
  

  • 容器不能挂载到/home/ma-user目录，此目录为ma-user用户家目录。如果容器挂载到/home/ma-user下，拉起容器时会与基础镜像冲突，导致基础镜像不可用。
  • driver及npu-smi需同时挂载至容器。
  • 不要将多个容器绑到同一个NPU上，会导致后续的容器无法正常使用NPU功能。
• --name ${container_name}：容器名称，进入容器时会用到，此处可以自己定义一个容器名称。
• {image_id} 为docker镜像的ID，在宿主机上可通过docker images查询得到。

Step5 进入容器安装推理依赖软件

1. 通过容器名称进入容器中。默认使用ma-user用户执行后续命令。

   docker exec -it ${container_name} bash

2. 上传代码和权重到宿主机时使用的是root用户，此处需要执行如下命令统一文件属主为ma-user用户。

   #统一文件属主为ma-user用户
   sudo chown -R ma-user:ma-group  ${container_work_dir}
   # ${container_work_dir}:/home/ma-user/ws 容器内挂载的目录
   #例如：sudo chown -R ma-user:ma-group  /home/ma-user/ws

3. 解压算子包并将相应算子安装到环境中。

   unzip AscendCloud-OPP-*.zip
   pip install ascend_cloud_ops-1.0.0-py3-none-any.whl
   pip install cann_ops-1.0.0-py3-none-any.whl

4. 解压软件推理代码并安装依赖包。安装过程需要连接互联网git clone，请确保容器环境可以访问公网。

   unzip AscendCloud-LLM-*.zip
   cd llm_inference/ascend_vllm
   bash build.sh

   运行完后，会安装适配昇腾的vllm-0.4.2版本。

Step6 启动推理服务

1. 配置需要使用的NPU卡编号。例如：实际使用的是第1张卡，此处填写“0”。

   export ASCEND_RT_VISIBLE_DEVICES=0

   如果启动服务需要使用多张卡，例如：实际使用的是第1张和第2张卡，此处填写为“0,1”，以此类推。

   export ASCEND_RT_VISIBLE_DEVICES=0,1

   

   NPU卡编号可以通过命令npu-smi info查询。

2. 配置环境变量。

   export DEFER_DECODE=1
   # 是否使用推理与Token解码并行；默认值为1表示开启并行，取值为0表示关闭并行。开启该功能会略微增加首Token时间，但可以提升推理吞吐量。
   
   export DEFER_MS=10
   # 延迟解码时间，默认值为10，单位为ms。将Token解码延迟进行的毫秒数，使得当次Token解码能与下一次模型推理并行计算，从而减少总推理时延。该参数需要设置环境变量DEFER_DECODE=1才能生效。
   
   export USE_VOCAB_PARALLEL=1
   # 是否使用词表并行；默认值为1表示开启并行，取值为0表示关闭并行。对于词表较小的模型（如llama2系模型），关闭并行可以减少推理时延，对于词表较大的模型（如qwen系模型），开启并行可以减少显存占用，以提升推理吞吐量。
   
   export USE_PFA_HIGH_PRECISION_MODE=1
   # PFA算子是否使用高精度模式；默认值为0表示不开启。针对Qwen2-7B模型，必须开启此配置，否则精度会异常；其他模型不建议开启，因为性能会有损失。

3. 如果需要增加模型量化功能，启动推理服务前，先参考使用AWQ量化或使用SmoothQuant量化章节对模型做量化处理。
4. 启动服务与请求。此处提供vLLM服务API接口启动和OpenAI服务API接口启动2种方式。详细启动服务与请求方式参考：https://docs.vllm.ai/en/latest/getting_started/quickstart.html。
   

   以下服务启动介绍的是在线推理方式，离线推理请参见https://docs.vllm.ai/en/latest/getting_started/quickstart.html#offline-batched-inference。

   • 方式一：通过OpenAI服务API接口启动服务

     在llm_inference/ascend_vllm/vllm-gpu-0.4.2目录下通OpenAI服务API接口启动服务，具体操作命令如下，可以根据参数说明修改配置。

     python -m vllm.entrypoints.openai.api_server --model ${container_model_path} \
     --max-num-seqs=256 \
     --max-model-len=4096 \
     --max-num-batched-tokens=4096 \
     --dtype=float16 \
     --tensor-parallel-size=1 \
     --block-size=128 \
     --host=${docker_ip} \
     --port=8080 \
     --gpu-memory-utilization=0.9 \
     --trust-remote-code

   • 方式二：通过vLLM服务API接口启动服务

     在llm_inference/ascend_vllm/vllm-gpu-0.4.2目录下通过vLLM服务API接口启动服务，具体操作命令如下，API Server的命令相关参数说明如下，可以根据参数说明修改配置。

     python -m vllm.entrypoints.api_server --model ${container_model_path} \
     --max-num-seqs=256 \
     --max-model-len=4096 \
     --max-num-batched-tokens=4096 \
     --dtype=float16 \
     --tensor-parallel-size=1 \
     --block-size=128 \
     --host=${docker_ip} \
     --port=8080 \
     --gpu-memory-utilization=0.9 \
     --trust-remote-code

   推理服务基础参数说明如下：

   • --model ${container_model_path}：模型地址，模型格式是HuggingFace的目录格式。即Step3 上传代码包和权重文件上传的HuggingFace权重文件存放目录。若使用了量化功能，则使用推理模型量化章节转换后的权重。如果使用的是训练后模型转换为HuggingFace格式的地址，还需要有Tokenizer原始文件。
   • --max-num-seqs：最大同时处理的请求数，超过后拒绝访问。
   • --max-model-len：推理时最大输入+最大输出tokens数量，输入超过该数量会直接返回。max-model-len的值必须小于config.json文件中的"seq_length"的值，否则推理预测会报错。config.json存在模型对应的路径下，例如：${container_work_dir}/chatglm3-6b/config.json。
   • --max-num-batched-tokens：prefill阶段，最多会使用多少token，必须大于或等于--max-model-len，推荐使用4096或8192。
   • --dtype：模型推理的数据类型。支持FP16和BF16数据类型推理。float16表示FP16，bfloat16表示BF16。
   • --tensor-parallel-size：模型并行数。取值需要和启动的NPU卡数保持一致，可以参考1。此处举例为1，表示使用单卡启动服务。
   • --block-size：kv-cache的block大小，推荐设置为128。当前仅支持64和128。
   • --host=${docker_ip}：服务部署的IP，${docker_ip}替换为宿主机实际的IP地址。
   • --port：服务部署的端口。
   • --gpu-memory-utilization：NPU使用的显存比例，复用原vLLM的入参名称，默认为0.9。
   • --trust-remote-code：是否相信远程代码。
   高阶参数说明：

   • --enable-prefix-caching：如果prompt的公共前缀较长或者多轮对话场景下推荐使用prefix-caching特性。在推理服务启动脚本中添加此参数表示使用，不添加表示不使用。
   • --quantization：推理量化参数。当使用量化功能，则在推理服务启动脚本中增加该参数，若未使用量化功能，则无需配置。根据使用的量化方式配置，可选择awq或smoothquant方式。
   • --speculative-model ${container_draft_model_path}：投机草稿模型地址，模型格式是HuggingFace的目录格式。即Step3 上传代码包和权重文件上传的HuggingFace权重文件存放目录。投机草稿模型为与--model入参同系列，但是权重参数远小于--model指定的模型。若未使用投机推理功能，则无需配置。
   • --num-speculative-tokens：投机推理小模型每次推理的token数。若未使用投机推理功能，则无需配置。参数--num-speculative-tokens需要和--speculative-model ${container_draft_model_path}同时使用。
   • --use-v2-block-manager：vllm启动时使用V2版本的BlockSpaceManger来管理KVCache索引，若不使用该功能，则无需配置。注意：若使用投机推理功能，必须开启此参数。
   服务启动后，会打印如下类似信息。

   server launch time cost: 15.443044185638428 s INFO:     Started server process [2878]INFO:     Waiting for application startup. INFO:     Application startup complete. INFO:     Uvicorn running on http://0.0.0.0:8080 (Press CTRL+C to quit)

Step7 推理请求

使用命令测试推理服务是否正常启动。服务启动命令中的参数设置请参见表1。

• 方式一：通过OpenAI服务API接口启动服务使用以下推理测试命令。${docker_ip}替换为实际宿主机的IP地址。${container_model_path}请替换为实际使用的模型名称。

  curl -X POST http://${docker_ip}:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
      "model": "${container_model_path}",
      "messages": [
          {
              "role": "user",
              "content": "hello"
          }
      ],
      "max_tokens": 100,
      "top_k": -1,
      "top_p": 1,
      "temperature": 0,
      "ignore_eos": false,
      "stream": false
  }'

• 方式二：通过vLLM服务API接口启动服务使用以下推理测试命令。下面以Llama系列模型采样方式支持presence_penalty参数的发送请求为例。此处的接口8080需和Step4 启动容器镜像中设置的宿主机端口保持一致。${docker_ip}替换为实际宿主机的IP地址。

  curl -X POST http://${docker_ip}:8080/generate \
  -H "Content-Type: application/json" \
  -d '{
  "prompt": "hello",
  "max_tokens": 100,
  "temperature": 0,
  "ignore_eos": false,
  "presence_penalty":2
   }'

  下面以Llama系列模型采样方式支持length_penalty参数的发送请求为例。${docker_ip}替换为实际宿主机的IP地址。

  curl -X POST http://${docker_ip}:8080/generate \
  -H "Content-Type: application/json" \
  -d '{
  "prompt": "hello",
  "max_tokens": 100,
  "top_p": 1,
  "temperature": 0,
  "ignore_eos": false,
  "top_k": -1,
  "use_beam_search":true,
  "best_of":2,
  "length_penalty":2
   }'

服务的API与vLLM官网相同，此处介绍关键参数。详细参数解释请参见官网https://docs.vllm.ai/en/stable/dev/sampling_params.html。