文档首页/ AI开发平台ModelArts/ 故障排除/ 训练作业/ 云上迁移适配故障/ ModelArts训练作业无法解析参数,日志报错
更新时间:2024-03-04 GMT+08:00
分享

ModelArts训练作业无法解析参数,日志报错

问题现象

ModelArts训练作业无法解析参数,遇到如下报错,导致无法正常运行:

error: unrecognized arguments: --data_url=xxx://xxx/xxx
error: unrecognized arguments: --init_method=tcp://job
absl.flags._exceptions.UnrecognizedFlagError:Unknown command line flag 'task_index'

原因分析

  • 运行参数中未定义该参数。
  • 在训练环境中,系统可能会传入在Python脚本里没有定义的其他参数名称,导致参数无法解析,日志报错。

处理方法

  1. 参数定义中增加该参数的定义,代码示例如下:
    parser.add_argument('--init_method', default='tcp://xxx',help="init-method")
  2. 通过使用解析方式args, unparsed = parser.parse_known_args()代替args = parser.parse_args()解决该问题。代码示例如下:
    import argparse
    parser = argparse.ArgumentParser()
    parser.add_argument('--data_url', type=str, default=None, help='obs path of dataset')
    args, unparsed = parser.parse_known_args()

相关文档