更新时间:2024-03-04 GMT+08:00
ModelArts训练作业无法解析参数,日志报错
问题现象
ModelArts训练作业无法解析参数,遇到如下报错,导致无法正常运行:
error: unrecognized arguments: --data_url=xxx://xxx/xxx error: unrecognized arguments: --init_method=tcp://job
absl.flags._exceptions.UnrecognizedFlagError:Unknown command line flag 'task_index'
原因分析
- 运行参数中未定义该参数。
- 在训练环境中,系统可能会传入在Python脚本里没有定义的其他参数名称,导致参数无法解析,日志报错。
处理方法
- 参数定义中增加该参数的定义,代码示例如下:
parser.add_argument('--init_method', default='tcp://xxx',help="init-method")
- 通过使用解析方式args, unparsed = parser.parse_known_args()代替args = parser.parse_args()解决该问题。代码示例如下:
import argparse parser = argparse.ArgumentParser() parser.add_argument('--data_url', type=str, default=None, help='obs path of dataset') args, unparsed = parser.parse_known_args()
父主题: 云上迁移适配故障