文档首页 > > AI工程师用户指南> 部署模型> 批量服务> 采集数据

采集数据

分享
更新时间: 2020/02/14 GMT+08:00

ModelArts平台提供的自动难例发现功能,能够在一批输入旧模型的推理数据中,通过内置规则筛选出可以进一步提升旧模型精度的数据。自动难例发现功能可以有效减小模型更新时需要的标注人力。对于旧模型的推理数据,尽可能地发掘有利于提升模型精度的部分数据。您只需要对这部分数据进一步的确认标注,然后将其加入训练数据集中,在重新训练后,就能够得到精度更高的新模型。

针对部署为批量服务的模型,调用服务产生的数据默认存储在对应的OBS目录下,ModelArts可以根据配置规则对已有数据进行自动难例筛选,并输出至数据集,用于后续的模型训练。

针对批量服务的数据同步及难例筛选,如图1所示,支持如下几个场景。

  • 同步数据至数据集:针对批量服务中的输入数据,支持将此数据同步至某一数据集中,统一管理和应用。
  • 难例筛选:针对批量服务中的输入数据,开启难例筛选功能,系统将通过内置算法,筛选出难例。最后将难例数据存储至对应数据集中,用于重新训练。
图1 批量服务的数据采集

同步数据至数据集

针对批量服务,支持将其输入数据同步至数据集。此操作并不会执行难例筛选,仅将数据存储至数据集。可以存储至已有数据集,也可创建一个新数据集用于存储数据。

  1. 登录ModelArts管理控制台,在左侧菜单栏中选择“部署上线 > 批量服务”,进入在线服务管理页面。
  2. 单击服务名称进入服务详情页面,选择“数据采集”页签。或者在服务管理列表中,单击“操作”列的“更多 > 数据采集”
    图2 批量服务进入数据采集页面
  3. “数据采集”页签下,单击“同步数据至数据集”
  4. 在弹出的对话框中,勾选“标注类型”,然后“选择数据集”,单击“确定”,将数据同步至数据集的“未标注”页签下。

    当批量服务的输入数据为空时,将无法执行同步数据至数据集的操作。

    图3 批量服务同步数据至数据集

难例筛选

开启难例筛选任务,可将批量服务的数据进行难例筛选,同时将筛选结果存储至对应数据集中。

如果批量服务已运行结束,且筛选难例的开关处于关闭状态,之后将不再执行难例筛选任务。在配置难例筛选任务后,需重新启动批量服务,才能执行难例筛选任务。

  1. 登录ModelArts管理控制台,在左侧菜单栏中选择“部署上线 > 批量服务”,进入在线服务管理页面。
  2. 开启难例筛选任务。
    • 在部署为批量服务时,即“部署”页面,填写部署服务相关参数时,开启难例筛选功能。
      图4 部署页面开启难例筛选功能
    • 针对已部署完成的批量服务,单击服务名称进入服务详情页面,在“难例筛选”参数中,单击编辑按钮,启动难例筛选任务。
      图5 详情页面开启难例筛选功能
  3. 填写难例筛选相关参数,详细说明请参见表1。批量服务的难例筛选,默认针对所有的数据,与在线服务不同,不需设置筛选规则。
    表1 难例筛选参数说明

    参数

    说明

    模型类型

    模型的应用类型,目前仅支持“图像分类”“物体检测”

    训练模型的Manifest文件

    将某一模型部署为批量服务,此模型是通过某一数据集训练而来,其过程如下所示。针对此批量服务对应的训练数据集,您可以在难例筛选时,导入此数据集的Manifest文件,更容易筛选出模型深层次的数据问题。

    (训练脚本+训练数据集)-> 训练得到模型 -> 将模型部署为批量服务

    此参数为可选项,但为了提升精度,推荐您导入相应数据集。当前仅支持导入此数据集的Manifest文件格式。针对在ModelArts中管理的数据集,您可以通过发布数据集的操作,得到此数据集的Manifest文件。如果您的数据集未在ModelArts中管理,请参考Manifest的文件规范

    难例输出

    将筛选出的难例数据保存至某一数据集。支持已有数据集或创建一个新的数据集。

    必须选择一个对应类型的数据集,例如模型类型为“图像分类”,其筛选的难例输出的数据集,也必须为“图像分类”类型。

    图6 开启难例筛选
  4. 当难例筛选任务配置完成并运行结束后。您可以在批量服务的“数据采集”页签下,查看“任务状态”。当任务完成后,其“任务状态”将显示为“数据集导入完成”,您可以通过数据集链接,快速跳转至对应的数据集。筛选出的难例,将存储在数据集的“待确认”页签下。
    图7 数据采集任务状态
    图8 难例筛选结果
分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

跳转到云社区