生成DeepSeek部署定义yaml

基于KubeInfer的部署，关键是定义部署所需的yaml文件，参考获取部署版本包中提供的gen_pd_deploy_kubeinfer_yaml.py脚本通过执行下述命令生成基于KubeInfer部署的yaml文件：

python3 gen_pd_deploy_kubeinfer_yaml.py [--device-type=xx] [--num-roles=xx] [--replicas=xx] [--custom-labels=xx] [--image-name=xx] [--mount-path=xx] [--script-path=xx] [--common-params="xxx"] [--scheduler-params="xxx"] [--prefill-params="xxx"] [--decode-params="xxx"] [--file-name=xx]

当前脚本自动生成的基于KubeInfer部署的yaml文件默认包含下述能力：

1. 针对该kubeinfer实例默认创建NodePort类型的K8s service，对外nodePort默认为30090。如果您要在同一个K8s集群中部署多个kubeinfer实例，注意非单kubeinfer多instance，则要确保这个nodePort为不同的值。其中推理实例端口信息详见推理部署端口规划与冲突操作指导。
2. 故障恢复机制默认为instance级重调度，默认配置KubeInfer自动感知恢复机制和K8s的三大探针。
3. 容器默认配置了优雅退出时间，默认为120s。如果您的业务有需求需要修改这个时间，需要修改yaml中每个role定义里的优雅退出时间配置，详见基于KubeInfer的部署yaml文件说明。
4. 存储配置规划的存储路径默认为”/mnt/deepseek”，会以相同路径挂载至Pod。如果您的路径不一致需要修改yaml文件中每个role定义里的挂载路径信息，详见基于KubeInfer的部署yaml文件说明，参考如下：

   containers:
     - ...
       volumeMounts:
         - mountPath: /mnt/deepseek/    # 容器中权重挂载目录
           name: deepseek
   ...
   volumes:
     ...
     - hostPath:
         path: /mnt/deepseek/           # 模型权重在外部存储上的路径
         type: Directory
       name: deepseek

5. 推理服务日志、CANN NPU plog和ray的日志默认挂载至主机上的目录，详细说明见推理层日志采集与转储。
6. 默认配置升级策略为”一上一下”的滚动升级策略，如果您的业务有需要修改这个策略，需要修改yaml中定义，详见基于KubeInfer的部署yaml文件说明。
7. yaml中默认调用了版本包中的启动脚本，该脚本支持可传入的参数参考表2，除此之外，用户还可以追加标准的vLLM启动参数。示例：如果用户部署DeepSeek系列想开启Multi Step功能，可以新增以下启动参数：

   --num-scheduler-steps=4

脚本中vLLM启动命令参数如下：

# scheduler
sh ${LLM_TOOLS_PATH}/PD_separate/start_servers.sh \
    --host=0.0.0.0 \
    --port=${PORT} \
    --model=${MODEL} \
    --served-model-name=${SERVED_MODEL_NAME} \
    --max-model-len=${MAX_MODEL_LEN} \
    --max-num-batched-tokens=${MAX_MODEL_LEN} \
    --max-num-seqs=${MAX_NUM_SEQS} \
    --tensor-parallel-size=${TENSOR_PARALLEL_SIZE} \
    --dtype=auto \
    --trust-remote-code \
    --disable-log-requests \
    ${SCHEDULER_PARAMS} ${mtp_param} "${EXTRA_ARGS[@]}"

# prefill
sh ${LLM_TOOLS_PATH}/PD_separate/start_servers.sh \
    --host=0.0.0.0 \
    --port=${PORT} \
    --model=${MODEL} \
    --served-model-name=${SERVED_MODEL_NAME} \
    --max-model-len=${MAX_MODEL_LEN} \
    --max-num-batched-tokens=${MAX_MODEL_LEN} \
    --max-num-seqs=${MAX_NUM_SEQS} \
    --tensor-parallel-size=${TENSOR_PARALLEL_SIZE} \
    --dtype=auto \
    --trust-remote-code \
    --disable-log-requests \
    --block-size=128 \
    --distributed-executor-backend=ray \
    ${PREFILL_PARAMS} ${mtp_param} "${EXTRA_ARGS[@]}"

# decode
sh ${LLM_TOOLS_PATH}/PD_separate/start_servers.sh \
    --host=0.0.0.0 \
    --port=${PORT} \
    --model=${MODEL} \
    --served-model-name=${SERVED_MODEL_NAME} \
    --max-model-len=${MAX_MODEL_LEN} \
    --max-num-batched-tokens=${MAX_MODEL_LEN} \
    --max-num-seqs=${MAX_NUM_SEQS} \
    --tensor-parallel-size=${TENSOR_PARALLEL_SIZE} \
    --dtype=auto \
    --trust-remote-code \
    --disable-log-requests \
    --block-size=128 \
    --distributed-executor-backend=ray \
    ${DECODE_PARAMS} ${mtp_param} "${EXTRA_ARGS[@]}"