更新时间:2025-09-08 GMT+08:00
分享

升级推理服务(可选)

针对该场景,可以直接编辑k8s配置,通过修改镜像、启动命令等参数来升级推理服务。注意提前进行导流或限流措施,以免升级过程影响整体业务。其中默认升级策略详见基于KubeInfer的部署yaml文件说明,命令如下:

kubectl get kubeinfer
kubectl edit kubeinfer ${kubeinfer_name}

或修改yaml配置,然后重新生效:

vim infer_vllm_kubeinfer.yaml
kubectl apply -f infer_vllm_kubeinfer.yaml

具体修改内容详见基于KubeInfer的部署yaml文件说明,参考如下:

template:
  spec:
    containers:
      - env:
        ……
        image: ${image_name}                  # Pod依赖的镜像,按实际需要修改镜像tag以更新镜像
        imagePullPolicy: IfNotPresent
        command:                              # Pod启动命令,按照实际需求修改启动命令参数,如:模型地址等
          - /bin/sh
          - -c
          - /mnt/deepseek/deploy/xx_deploy_by_kubeinfer.sh  ...

相关文档