升级推理服务(可选)
针对该场景,可以直接编辑k8s配置,通过修改镜像、启动命令等参数来升级推理服务。注意提前进行导流或限流措施,以免升级过程影响整体业务。其中默认升级策略详见基于KubeInfer的部署yaml文件说明,命令如下:
kubectl get kubeinfer kubectl edit kubeinfer ${kubeinfer_name}
或修改yaml配置,然后重新生效:
vim infer_vllm_kubeinfer.yaml kubectl apply -f infer_vllm_kubeinfer.yaml
具体修改内容详见基于KubeInfer的部署yaml文件说明,参考如下:
template: spec: containers: - env: …… image: ${image_name} # Pod依赖的镜像,按实际需要修改镜像tag以更新镜像 imagePullPolicy: IfNotPresent command: # Pod启动命令,按照实际需求修改启动命令参数,如:模型地址等 - /bin/sh - -c - /mnt/deepseek/deploy/xx_deploy_by_kubeinfer.sh ...