run_vllm_single_node.sh

run_vllm_single_node.sh脚本用于启动与OpenAI API兼容的在线推理服务（通过vllm中的api_server模块）。

run_vllm_single_node.sh主要针对单节点启动在线推理服务。在Cluster部署准备章节会使用到。

source /home/ma-user/.bashrc


export ASCEND_TURBO_TASK_QUEUE=0
export CPU_AFFINITY_CONF=1
export VLLM_USE_V1=0
export HCCL_OP_EXPANSION_MODE=AIV
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
# 指定可使用的卡，按需修改。和下述--tensor-parallel-size的值要对应！
export ASCEND_RT_VISIBLE_DEVICES=0,1
# 单卡不需要添加该环境变量
export USE_MM_ALL_REDUCE_OP=1

python -m vllm.entrypoints.openai.api_server \
  --model /mnt/deepseek/model/${model_name} \
  --served-model-name=${model_name} \
  --host=0.0.0.0 \
  --port=8080 \
  --tensor-parallel-size=2 \
  --gpu-memory-utilization=0.9 \
  --block-size=128 \
  --max-num-seqs=256 \
  --max-model-len=32768 \
  --max-num-batched-tokens=32768 \
  --trust-remote-code