启动推理服务（大语言模型）

本章节主要介绍大语言模型的推理服务启动方式，包括离线推理和在线推理2种方式。

from vllm import LLM, SamplingParams

def main():
    prompts = [
        "Hello, my name is",
        "The president of the United States is",
        "The capital of France is",
        "The future of AI is",
    ]
    sampling_params = SamplingParams(temperature=0.8, top_p=0.95)

    model_path = "/path/to/model"
    llm = LLM(model=model_path, tensor_parallel_size=1, max_model_len=8192)

    outputs = llm.generate(prompts, sampling_params)

    # Print the outputs.
    for output in outputs:
        prompt = output.prompt
        generated_text = output.outputs[0].text
        print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")

if __name__=="__main__":
    main()

推荐通过OpenAI服务的API接口启动推理，单机单卡和单机多卡场景下的具体操作命令如下，可以根据参数说明修改配置。

# VPC网段
# 需用户手动修改，修改方式见下方注意事项
VPC_CIDR="7.150.0.0/16"  
VPC_PREFIX=$(echo "$VPC_CIDR" | cut -d'/' -f1 | cut -d'.' -f1-2)
POD_INET_IP=$(ifconfig | grep -oP "(?<=inet\s)$VPC_PREFIX\.\d+\.\d+" | head -n 1)
POD_NETWORK_IFNAME=$(ifconfig | grep -B 1 "$POD_INET_IP" | head -n 1 | awk '{print $1}' | sed 's/://')
echo "POD_INET_IP: $POD_INET_IP"
echo "POD_NETWORK_IFNAME: $POD_NETWORK_IFNAME" 
# 指定通信网卡
export GLOO_SOCKET_IFNAME=$POD_NETWORK_IFNAME
export TP_SOCKET_IFNAME=$POD_NETWORK_IFNAME
export HCCL_SOCKET_IFNAME=$POD_NETWORK_IFNAME
# 多机场景下配置
export RAY_EXPERIMENTAL_NOSET_ASCEND_RT_VISIBLE_DEVICES=1

# 开启显存优化
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
# 配置通信算法的编排展开位置在Device侧的AI Vector Core计算单元
export HCCL_OP_EXPANSION_MODE=AIV
# 指定可使用的卡，按需指定
export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3 
# 指定绑核，按需指定
export CPU_AFFINITY_CONF=1
export LD_PRELOAD=/usr/local/lib/libjemalloc.so.2:${LD_PRELOAD}
# 默认启用 ascend-turbo-graph模式，指定启动插件
export VLLM_PLUGINS=ascend_vllm
# 如果使用 acl-graph 或者 eager 模式，指定启动插件 
# export VLLM_PLUGINS=ascend
# 指定vllm后端 v1
export VLLM_USE_V1=1
# 指定vllm版本
export VLLM_VERSION=0.9.0

以上为框架通用环境变量，Qwen系列模型部分性能提升参数可参考如下表格。

Qwen2、Qwen2.5、Qwen3系列的大语言模型

• Qwen Moe模型不支持表1的Qwen系列优化环境变量
• Aclgraph和eager模式，不支持配置表1的Qwen系列优化环境变量
• Qwen系列W4A16量化模型仅走AscendTurbo图模式，且不支持配置Qwen系列优化环境变量

1. 如果使用 Qwen2、Qwen2.5、Qwen3 系列模型，推荐使用ascend-turbo-graph模式，也即是推理服务启动参数中的默认模式。 另外，Qwen系列模型，需要根据支持Qwen系列模型来配置环境变量。
2. 如果使用Meta-Llama系列、类Llama 系列的模型，建议使用eager模式。
3. 如果使用的机型是昇腾Snt9b系列，那么跳过下面Qwen Dense系列的启动环境变量，配置的环境变量如下:

   # Snt9b系列机型且TP<=8,设置以下环境变量:
   export USE_MM_ALL_REDUCE_OP=1
   export MM_ALL_REDUCE_OP_THRESHOLD=256
   
   # 不需要设置以下环境变量
   unset ENABLE_QWEN_HYPERDRIVE_OPT
   unset ENABLE_QWEN_MICROBATCH
   unset ENABLE_PHASE_AWARE_QKVO_QUANT
   unset DISABLE_QWEN_DP_PROJ

source /home/ma-user/AscendCloud/AscendTurbo/set_env.bash

python -m vllm.entrypoints.openai.api_server \
--model ${container_model_path} \
--max-num-seqs=256 \
--max-model-len=4096 \
--max-num-batched-tokens=4096 \
--tensor-parallel-size=1 \
--block-size=128 \
--host=${docker_ip} \
--port=8080 \
--gpu-memory-utilization=0.95 \
--trust-remote-code \
--no-enable-prefix-caching \
--additional-config='{"ascend_turbo_graph_config": {"enabled": true}, "ascend_scheduler_config": {"enabled": true}}'

多机部署启动推理服务

当单机显存无法放下模型权重时，可选用多机方式部署；多机部署方式，需要机器在同一个集群，NPU卡之间IP能够ping通方可，具体步骤如下：

1. 查看卡IP，在其中一个机器上执行。

   for i in $(seq 0 7);do hccn_tool -i $i -ip -g;done

2. 检查卡之间的网络是否通。

   # 在另一个机器上执行，29.81.3.172是上一步输出的ipaddr的值
   hccn_tool -i 0 -ping -g address 29.81.3.172

3. 启动Ray集群。

   # 指定通信网卡，使用ifconfig查看，找到和主机IP一致的网卡名
   export GLOO_SOCKET_IFNAME=enp67s0f5
   export TP_SOCKET_IFNAME=enp67s0f5
   export RAY_EXPERIMENTAL_NOSET_ASCEND_RT_VISIBLE_DEVICES=1
   
   # 指定可使用的卡
   export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7
   
   # 将其中一个机器设为头节点
   ray start --head --num-gpus=8
   
   # 在其他机器执行
   ray start --address='10.170.22.18:6379' --num-gpus=8

   • --num-gpus：要跟ASCEND_RT_VISIBLE_DEVICES指定的可用卡数一致。
   • --address：头节点IP+端口号，头节点创建成功后，会有打印。
   

   • 环境变量每个节点都要设置。
   • 更新环境变量需要重启Ray集群。
4. 选择其中一个节点，添加指定分布式后端参数【--distributed-executor-backend=ray】，其他参数与正常启服务一致即可。具体参考本文单机场景下OpenAI服务的API接口启动在线推理服务方式。

curl http://${docker_ip}:8080/v1/completions \
-H "Content-Type: application/json" \
-d '{        
      "model": "${container_model_path}",      
      "prompt": "hello",
      "max_tokens": 32,
      "temperature": 0   
}'

curl -X POST http://${docker_ip}:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
    "model": "${container_model_path}",
    "messages": [
        {
            "role": "user",
            "content": "hello"
        }
    ],
    "max_tokens": 32,
    "temperature": 0
}'

curl -X POST http://${docker_ip}:8080/v1/rerank \
    -H "Content-Type: application/json" \
    -d '{
        "model": "/model/bge-reranker-v2-m3",
        "query": "What is the capital of France?",
        "documents": [
            "The capital of France is Paris",
            "Reranking is fun!",
            "vLLM is an open-source framework for fast AI serving"
        ]
    }'

# model替换为实际的地址

curl -X POST http://${docker_ip}:8080/v1/embeddings \
    -H "Content-Type: application/json" \
    -d '{
        "model": "/model/bge-base-en-v1.5",
        "input":"I love shanghai"
    }'

# model替换为实际的地址