文档首页/
AI开发平台ModelArts/
故障排除/
训练作业/
云上迁移适配故障/
MindSpore日志提示“ retCode=0x91, [the model stream execute failed]”
更新时间:2024-11-22 GMT+08:00
MindSpore日志提示“ retCode=0x91, [the model stream execute failed]”
问题现象
使用mindspore进行训练时,出现如下报错:
[ERROR] RUNTIME(3002)model execute error, retCode=0x91, [the model stream execute failed]
原因分析
出现该问题的可能原因如下:
数据读入的速度跟不上模型迭代的速度。
处理方法
- 减少预处理shuffle操作。
dataset = dataset.shuffle(buffer_size=x)
- 关闭数据预处理开关,可能会影响性能。
NPURunConfig(enable_data_pre_proc=false)
建议与总结
在创建训练作业前,推荐您先使用ModelArts开发环境调试训练代码,避免代码迁移过程中的错误。
- 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。
- 配置本地IDE(Pycharm或者VSCode)联接云上环境调试请参考使用本地IDE开发模型。
父主题: 云上迁移适配故障