更新时间:2025-09-12 GMT+08:00
分享

输入

解释说明

  • “参数名称”:如果您的算法代码中使用argparse解析data_url为输入数据参数,则在创建的算法需要配置输入数据代码参数为“data_url”。根据实际代码中的输入数据参数定义此处的名称。此处设置的代码路径参数必须与算法代码中解析的输入数据参数保持一致,否则您的算法代码无法获取正确的输入数据。

    例如,代码中通过以下方式添加运行参数,则此处参数名称为data_url:

    parser.add_argument('--data_url', type=str, default=None, help='test')
  • “描述”:输入参数的说明,用户可以自定义描述。
  • “获取方式”:输入参数的获取方式,默认使用“超参”,也可以选择“环境变量”。
  • “输入约束”:开启后,用户可以根据实际情况限制数据输入来源。输入来源可以选择“数据存储位置”或者“ModelArts数据集”。

    如果用户选择数据来源为ModelArts数据集,还可以约束以下三种:

    • 标注类型。数据类型请参考标注数据
    • 数据格式。可选“Default”和“CarbonData”,支持多选。其中“Default”代表Manifest格式。
    • 数据切分。仅“图像分类”、“物体检测”、“文本分类”和“声音分类”类型数据集支持进行数据切分功能。

      可选“仅支持切分的数据集”、“仅支持未切分数据集”和“无限制”。数据切分详细内容可参考发布数据版本

常见问题

在ModelArts上运行训练作业时,如何读取云上的训练数据?

  1. 首先用户需要在训练代码中解析输入路径参数,可通过如下代码实现。代码后续可使用data_url参数指代训练输入路径。
    import argparse  import moxing as mox   # 创建解析
    parser = argparse.ArgumentParser(description="train mnist",
                                      formatter_class=argparse.ArgumentDefaultsHelpFormatter)  # 添加参数         
    parser.add_argument('--data_url', type=str, default='obs://obs-test/ckpt/mnist', 
                         help='the path model saved')  # 解析参数  
    args, unknown = parser.parse_known_args()

    更多代码适配问题参考开发自定义脚本指导。更多Moxing的操作请参考Moxing手册

  2. 在创建自定义算法时,配置输入数据参数为data_url。请参考创建算法指导。
  3. 在使用算法创建训练作业时,在训练输入位置设置云上数据存储路径。请参考创建训练作业指导。

相关文档