文档首页/ AI开发平台ModelArts/ 故障排除/ 推理部署/ 服务部署/ 部署在线服务出现报错No CUDA runtime is found
更新时间：2023-11-13 GMT+08:00
查看PDF
分享

部署在线服务出现报错No CUDA runtime is found

问题现象

部署在线服务出现报错No CUDA runtime is found，using CUDA_HOME='/usr/local/cuda'。

原因分析

从日志报错信息No CUDA runtime is found分析，是cuda runtime没有找到。

处理方法

建议您按以下步骤排查处理：

  1. 确认部署在线服务时是否选择了GPU规格。
  2. 在customize_service.py中添加一行代码os.system('nvcc -V)查看该镜像的cuda版本（customize_service.py编写指导请见模型推理代码编写说明）。
  3. 确认该cuda版本与您安装的mmcv版本是否匹配。

    部署时是否需要使用GPU，取决于的模型需要用到CPU还是GPU，以及推理脚本如何编写。

父主题： 服务部署