更新时间:2022-05-07 GMT+08:00
分享

发布数据集

ModelArts Pro在数据集管理过程中,针对同一个数据源,对不同时间标注后的数据,按版本进行区分,方便后续模型构建和开发过程中,选择对应的数据集版本进行使用。数据标注完成后,您可以将数据集当前状态进行发布,生成一个新的数据集版本。

关于数据集版本

  • 针对刚创建的数据集(未发布前),无数据集版本信息,必须执行发布操作后,才能应用于模型开发或训练。
  • 数据集版本,默认按V001、V002递增规则进行命名,您也可以在发布时自定义设置。
  • 您可以将任意一个版本设置为当前目录,即表示数据集列表中进入的数据集详情,为此版本的数据及标注信息。
  • 针对每一个数据集版本,您可以通过“存储路径”参数,获得此版本对应的Manifest文件格式的数据集。可用于导入数据或难例筛选操作。
  • 表格数据集暂不支持切换版本。

发布数据集

  1. 在ModelArts Pro控制台界面,单击“自然语言处理”套件卡片的“进入套件”

    进入自然语言处理套件控制台。

  2. 在左侧导航栏选择“应用开发>工作台”

    默认进入“我的应用”页签。

  3. “我的应用”页签下,选择已创建的应用,单击操作列的“查看”

    进入应用详情页,默认进入“应用开发”页签。

  4. 单击“应用资产”,在“应用资产”页签下,选择数据集,单击“管理”

    进入“数据集管理”页面。

    图1 数据集管理
  5. 在数据集管理页面右上角单击“发布”
  6. “发布新版本”弹出框中,填写发布数据集的相关参数,然后单击“确定”
    表1 发布数据集的参数说明

    参数

    描述

    “版本名称”

    默认按V001、V002递增规则进行命名,您也可以自定义版本名称。版本名称只能包含字母、数字、中划线或下划线。

    “版本格式”

    仅“表格”类型数据集支持设置版本格式,支持“CSV”“CarbonData”两种。

    说明:

    如果导出的CSV文件中存在以“=”“+”“-”和“@”开头的命令时,为了安全考虑,ModelArts会自动加上Tab键,并对双引号进行转义处理。

    “数据切分”

    仅“图像分类”、“物体检测”、“文本分类”和“声音分类”类型数据集支持进行数据切分功能。

    默认不启用。启用后,需设置对应的训练验证比例。

    输入“训练集比例”,数值只能是0~1区间内的数。设置好“训练集比例”后,“验证集比例”自动填充。“训练集比例”“验证集比例”等于1。

    “训练集比例”即用于训练模型的样本数据比例;“验证集比例”即用于验证模型的样本数据比例。“训练验证比例”会影响训练模板的性能。

    “描述”

    针对当前发布的数据集版本的描述信息。

    “开启难例属性”

    仅“图像分类”和“物体检测”类型数据集支持难例属性。

    默认不开启。启用后,会将此数据集的难例属性等信息写入对应的Manifest文件中。

    图2 发布数据集

    版本发布后,您可以前往版本管理查看详细信息。系统默认将最新的版本作为当前目录。

数据集发布后,相关文件的目录结构说明

由于数据集是基于OBS目录管理的,发布为新版本后,对应的数据集输出位置,也将基于新版本生成目录。

相关文档