文档首页/ AI开发平台ModelArts/ 最佳实践/ LLM大语言模型训练推理/ 主流开源大模型基于Lite Cluster适配PyTorch NPU训练指导（6.3.909）/ 常见错误原因和解决方法/ 工作负载Pod异常
更新时间：2024-10-22 GMT+08:00
查看PDF
分享

工作负载Pod异常

Pod状态为Pending

当Pod状态为“Pending”，事件中出现“实例调度失败”的信息时，可根据具体事件信息确定具体问题原因。具体参考链接为工作负载状态异常定位方法。

通过以下命令打印Pod日志信息。

kubectl describe pod ${pod_name}

volcano资源调度失败

当volcano的资源出现争抢时，会出现下图中的问题。

解决方法：

  1. 通过打印所有Pod的信息，并找到命名有scheduler字段的Pod。 
    kubectl get pod -A -o wide
  2. 重启该Pod，通过delete的方式删除，但随后会自动重新启动。 
    kubectl delete pod -n kube-system ${pod_scheduler_name}
  3. 若重启后，还是会Pending，建议多重复重启几次。

其他实例调度失败问题

首先通过打印Pod日志信息。根据错误信息，可通过访问官网链接：工作负载异常：实例调度失败，进行查找。

如何删除config.yaml创建出的所有工作负载Pod

若要删除config.yaml创建出的所有工作负载Pod，需要先找到config.yaml所在路径，并执行以下命令。

kubectl delete -f config.yaml

相关文档