升级推理服务(可选)
针对该场景,可以直接编辑k8s配置,通过修改镜像、启动命令等参数来升级推理服务。注意提前进行导流或限流措施,以免升级过程影响整体业务。其中默认升级策略详见基于KubeInfer的部署yaml文件说明,命令如下:
kubectl get kubeinfer
kubectl edit kubeinfer ${kubeinfer_name}
或修改yaml配置,然后重新生效:
vim infer_vllm_kubeinfer.yaml kubectl apply -f infer_vllm_kubeinfer.yaml
具体修改内容详见基于KubeInfer的部署yaml文件说明,参考如下:
template:
spec:
containers:
- env:
……
image: ${image_name} # Pod依赖的镜像,按实际需要修改镜像tag以更新镜像
imagePullPolicy: IfNotPresent
command: # Pod启动命令,按照实际需求修改启动命令参数,如:模型地址等
- /bin/sh
- -c
- /mnt/deepseek/deploy/xx_deploy_by_kubeinfer.sh ...