GPU节点使用nvidia驱动启动容器排查思路

集群中的节点是否有资源调度失败的事件？

问题现象：

节点运行正常且有GPU资源，但报如下失败信息：

0/9 nodes are available: 9 insufficient nvidia.com/gpu

排查思路：

1. 确认节点标签是否已经打上nvidia资源。

   

   

2. 查看nvidia驱动运行是否正常。

   到插件运行所在的节点上，查看驱动的安装日志，路径为“/opt/cloud/cce/nvidia/nvidia_installer.log”或“ /usr/local/nvidia/nvidia-installer.log”。

   查看nvidia容器标准输出日志：

   过滤容器id

   crictl ps -a | grep nvidia

   查看日志

   crictl logs 容器id 

业务上报nvidia版本和cuda版本不匹配？

1. 在业务容器中确认cuda版本，执行类似如下命令（以cuda官方查询方法为准）：

   cat /usr/local/cuda/version.txt

2. 查看容器所在节点的nvidia驱动版本支持的cuda版本范围，是否包含容器中的cuda版本。节点中查看驱动支持的最高cuda版本，执行“nvidia-smi”命令。

相关链接

工作负载异常：GPU节点部署服务时报错