更新时间:2024-08-21 GMT+08:00
日志提示“CUDNN_STATUS_NOT_SUPPORTED. ”
问题现象
在pytorch训练时,出现如下报错:
RuntimeError: cuDNN error: CUDNN_STATUS_NOT_SUPPORTED. This error may appear if you passed in a non-contiguous input.
原因分析
出现该问题的可能原因如下:
数据输入不连续,cuDNN不支持的类型。
处理方法
- 禁用cuDNN,在训练前加入如下代码。
torch.backends.cudnn.enabled = False
- 将输入数据转换成contiguous。
images = images.cuda() images = images.permute(0, 3, 1, 2).contigous()
建议与总结
在创建训练作业前,推荐您先使用ModelArts开发环境调试训练代码,避免代码迁移过程中的错误。
- 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。
- 配置本地IDE(Pycharm或者VSCode)联接云上环境调试请参考使用本地IDE开发模型。
父主题: 业务代码问题