Pod实例异常，显示无法找到设备文件

问题现象

Pod实例创建失败，报错信息如下：

Error: failed to generate container "af736..." spec: failed to apply OCI options: lstat /dev/davinci4: no such file or directory

同时，执行以下命令，查看PCIE总线的数量。

lspci | grep -i accelerator | wc -l 

当回显结果小于预期数目时，可以判断发生了PCIE断链。

问题原因

昇腾Snt9设备发生PCIE断链后，设备驱动未能上报准确的掉卡信息，导致任务仍被调度至断链的卡。

您可以执行以下命令，进一步验证PCIE是否断链：

npu-smi info -m

回显结果如下：

NPU ID    Chip ID     Chip Logic ID     Chip Name
0         0           0                 Ascend xxx
0         1           -                 Mcu
1         0           1                 Ascend xxx
1         1           -                 Mcu
2         0           2                 Ascend xxx
2         1           -                 Mcu
3         0           3                 Ascend xxx
3         1           -                 Mcu
5         0           4                 Ascend xxx
5         1           -                 Mcu
6         0           5                 Ascend xxx
6         1           -                 Mcu
7         0           6                 Ascend xxx
7         1           -                 Mcu

由NPU ID可知，昇腾Snt9设备中的第4张丢失，即发生PCIE断链。在此过程中，设备驱动对NPU卡的Chip Logic ID进行了重排，Chip Logic ID 7丢失。CCE AI套件（Ascend NPU）插件上报信息时只会更新Chip Logic ID，不会更新Chip Logic ID与NPU ID的对应关系，因此Kubernetes会认为原有的Chip Logic ID 7对应的第7张NPU卡发生故障，无法参与调度，而原Chip Logic ID 4所对应的第4张NPU卡依然被调度器识别为可用资源。

解决方案

升级Snt9设备的驱动版本到24.1.rc2及以上版本即可。新版本的驱动不会在PCIE断链后进行Chip Logic ID重排，可以上报正确的掉卡情况。

升级驱动后，执行以下命令，验证以上结论。

npu-smi info -m

回显结果如下，可以发现在PCIE断链后，新版本驱动在PCIE断链后没有对Chip Logic ID进行重排。

NPU ID    Chip ID     Chip Logic ID     Chip Name
-1        0           -                 Mcu
0         0           0                 Ascend xxx
0         1           -                 Mcu
1         0           1                 Ascend xxx
1         1           -                 Mcu
2         0           2                 Ascend xxx
2         1           -                 Mcu
3         0           3                 Ascend xxx
3         1           -                 Mcu
5         0           5                 Ascend xxx
5         1           -                 Mcu
6         0           6                 Ascend xxx
6         1           -                 Mcu
7         0           7                 Ascend xxx
7         1           -                 Mcu