在推理生产环境中部署推理服务
本章节介绍如何在ModelArts的推理生产环境(ModelArts控制台的在线服务功能)中部署推理服务。
Step1 准备模型文件和权重文件
在OBS桶中,创建文件夹,准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。
- 模型权重文件获取地址请参见支持的模型列表和权重文件。
- 推理启动脚本run_vllm.sh制作请参见下文创建推理脚本文件run_vllm.sh的介绍。
- SSL证书制作包含cert.pem和key.pem,需自行生成。生成方式请参见•通过openssl创建SSLpem证书。
![](https://support.huaweicloud.com/bestpractice-modelarts/figure/zh-cn_image_0000001982465169.png)
创建推理脚本文件run_vllm.sh
run_vllm.sh脚本示例如下。
- 通过vLLM服务API接口启动服务
source /home/ma-user/.bashrc export ASCEND_RT_VISIBLE_DEVICES=${ASCEND_RT_VISIBLE_DEVICES} python -m vllm.entrypoints.api_server --model="${model_path}" \ --ssl-keyfile="/home/mind/model/key.pem" \ --ssl-certfile="/home/mind/model/cert.pem" \ --max-num-seqs=256 \ --max-model-len=4096 \ --max-num-batched-tokens=4096 \ --dtype=float16 \ --tensor-parallel-size=1 \ --block-size=128 \ --host=0.0.0.0 \ --port=8080 \ --gpu-memory-utilization=0.9 \ --trust-remote-code
- 通过OpenAI服务API接口启动服务
source /home/ma-user/.bashrc export ASCEND_RT_VISIBLE_DEVICES=${ASCEND_RT_VISIBLE_DEVICES} python -m vllm.entrypoints.openai.api_server --model="${model_path}" \ --ssl-keyfile="/home/mind/model/key.pem" \ --ssl-certfile="/home/mind/model/cert.pem" \ --max-num-seqs=256 \ --max-model-len=4096 \ --max-num-batched-tokens=4096 \ --dtype=float16 \ --tensor-parallel-size=1 \ --block-size=128 \ --host=0.0.0.0 \ --port=8080 \ --gpu-memory-utilization=0.9 \ --trust-remote-code
参数说明:
- ${ASCEND_RT_VISIBLE_DEVICES}:使用的NPU卡,单卡设为0即可,4卡可设为0,1,2,3。
- ${model_path}:模型路径,填写为/home/mind/model/权重文件夹名称,如:home/mind/model/chatglm3-6b。
- --tensor-parallel-size:并行卡数。
- --hostname:服务部署的IP,使用本机IP 0.0.0.0。
- --port:服务部署的端口8080。
- --max-model-len:最大数据输入+输出长度,不能超过模型配置文件config.json里面定义的“max_position_embeddings”和“seq_length”;如果设置过大,会占用过多显存,影响kvcache的空间。不同模型推理支持的max-model-len长度不同,具体差异请参见附录:基于vLLM(v0.3.2)不同模型推理支持的max-model-len长度说明。
- --gpu-memory-utilization:NPU使用的显存比例,复用原vLLM的入参名称,默认为0.9。
- --trust-remote-code:是否相信远程代码。
- --dtype:模型推理的数据类型。仅支持FP16和BF16数据类型推理。float16表示FP16,bfloat16表示BF16。如果不指定,则根据输入数据自动匹配数据类型。
- --distributed-executor-backend:多卡推理启动后端,可选值为"ray"或者"mp",其中"ray"表示使用ray进行启动多卡推理,"mp"表示使用python多进程进行启动多卡推理。默认使用"mp"后端启动多卡推理。
- 推理启动脚本必须名为run_vllm.sh,不可修改其他名称。
- hostname和port也必须分别是0.0.0.0和8080不可更改。
高阶参数说明:- --enable-prefix-caching:如果prompt的公共前缀较长或者多轮对话场景下推荐使用prefix-caching特性。在推理服务启动脚本中添加此参数表示使用,不添加表示不使用。
- --quantization:推理量化参数。当使用量化功能,则在推理服务启动脚本中增加该参数,若未使用量化功能,则无需配置。根据使用的量化方式配置,可选择awq或smoothquant方式。
- --speculative-model ${container_draft_model_path}:投机草稿模型地址,模型格式是HuggingFace的目录格式。即Step2 准备权重文件上传的HuggingFace权重文件存放目录。投机草稿模型为与--model入参同系列,但是权重参数远小于--model指定的模型。若未使用投机推理功能,则无需配置。
- --num-speculative-tokens:投机推理小模型每次推理的token数。若未使用投机推理功能,则无需配置。参数--num-speculative-tokens需要和--speculative-model ${container_draft_model_path}同时使用。
可在run_vllm.sh增加如下环境变量开启高阶配置:
export DEFER_DECODE=1 # 是否使用推理与Token解码并行;默认值为1表示开启并行,取值为0表示关闭并行。开启该功能会略微增加首Token时间,但可以提升推理吞吐量。 export DEFER_MS=10 # 延迟解码时间,默认值为10,单位为ms。将Token解码延迟进行的毫秒数,使得当次Token解码能与下一次模型推理并行计算,从而减少总推理时延。该参数需要设置环境变量DEFER_DECODE=1才能生效。 export USE_VOCAB_PARALLEL=1 # 是否使用词表并行;默认值为1表示开启并行,取值为0表示关闭并行。对于词表较小的模型(如llama2系模型),关闭并行可以减少推理时延,对于词表较大的模型(如qwen系模型),开启并行可以减少显存占用,以提升推理吞吐量。
Step2 部署模型
在ModelArts控制台的AI应用管理模块中,将模型部署为一个AI应用。
- 登录ModelArts控制台,单击“AI应用管理 > AI应用 > 创建”,开始创建AI应用。
图2 创建AI应用
- 设置创建AI应用的相应参数。此处仅介绍关键参数,设置AI应用的详细参数解释请参见从OBS中选择元模型。
- 根据需要自定义应用的名称和版本。
- 模型来源选择“从对象存储服务(OBS)中选择”,元模型选择转换后模型的存储路径,AI引擎选择“Custom”,引擎包选择准备镜像中上传的推理镜像。
- 系统运行架构选择“ARM”。
图3 设置AI应用 - 单击“立即创建”开始AI应用创建,待应用状态显示“正常”即完成AI应用创建。
首次创建AI应用预计花费40~60分钟,之后每次构建AI应用花费时间预计5分钟。图4 创建完成
若权重文件大于60G,创建AI应用会报错,提示模型大于60G,请提工单扩容。
Step3 部署在线服务
将Step2 部署模型中创建的AI应用部署为一个在线服务,用于推理调用。
- 在ModelArts控制台中,单击“部署上线 > 在线服务 > 部署”,开始部署在线服务。
图5 部署在线服务
- 设置部署服务名称,选择Step2 部署模型中创建的AI应用。选择专属资源池,计算节点规格选择snt9b,部署超时时间建议设置为40分钟。此处仅介绍关键参数,更多详细参数解释请参见部署在线服务。
图6 部署在线服务-专属资源池
- 单击“下一步”,再单击“提交”,开始部署服务,待服务状态显示“正常”服务部署完成。
图7 服务部署完成
注:若部署在线服务出现报错starting container process caused "exec: \"/home/mind/model/run_vllm.sh\": permission denied",请参考附录:大模型推理standard常见问题问题6重新构建镜像。
Step4 调用在线服务
进入在线服务详情页面,选择“预测”。
若以vllm接口启动服务,设置请求路径:“/generate”,输入预测代码“{"prompt": "你好", "temperature":0, "max_tokens":20}”,单击“预测”既可看到预测结果。
![](https://support.huaweicloud.com/bestpractice-modelarts/figure/zh-cn_image_0000001986437437.png)
若以openai接口启动服务,设置请求路径:“/v1/completions”,输入预测代码“{"prompt": "你是谁","model": "${model_path}","max_tokens": 50,"temperature":0}”,单击“预测”既可看到预测结果。
![](https://support.huaweicloud.com/bestpractice-modelarts/figure/zh-cn_image_0000001952798148.png)
在线服务的更多内容介绍请参见文档查看服务详情。
Step5 推理性能测试
推理性能测试操作请参见推理性能测试。