更新时间:2024-10-18 GMT+08:00
分享

下载数据

在AI Gallery中,您可以下载满足业务需要的数据集。

前提条件

注册并登录华为云,且创建好OBS桶用于存储数据。

下载数据集

  1. 登录“AI Gallery”。
  2. 选择“资产集市 > 数据集”,进入数据页面,该页面展示了所有共享的数据集。
  3. 搜索业务所需的数据集,请参见查找和收藏资产
  4. 单击目标数据集进入详情页面。

    在详情页面可以查看数据集的“描述”“预览”“限制”“版本”“评论”等信息。

  5. 在详情页面单击“下载”。弹出“选择云服务区域”,选择区域后单击“确定”进入下载详情页面。根据数据集下载至OBS还是ModelArts数据集列表,填写不同配置信息:

    ModelArts数据管理模块在重构升级中,对未使用过数据管理的用户不可见。建议新用户选择将数据集下载至OBS使用。

    • 将数据集下载至OBS
      • “下载方式”选择对象存储服务(OBS)
      • “目标区域”选择您需要将该数据集下载到的区域位置,如“华北-北京四”
      • “目标位置”选择OBS桶路径,桶内如有同名的文件或文件夹,将被新下载的文件或文件夹覆盖。
      图1 下载数据集(至OBS)
    • 将数据集下载至ModelArts
      • “下载方式”:选择“ModelArts数据集”
      • “目标区域”:选择您需要将该数据集下载到的区域位置,如“华北-北京四”
      • “数据类型”:选择需要处理的文件类型。数据类型更多信息请参考数据集的类型
      • “数据集输出位置”:数据集输出位置的OBS路径,此位置会存放输出的标注信息等文件,此位置不能和OBS数据源中的文件路径相同或为其子目录。
      • “数据集输入位置”:AI Gallery的数据集下载到OBS的路径,此位置会作为数据集的数据存储路径,数据集输入位置不能和输出位置相同。
      • “名称”默认生成“data-xxxx”形式的数据集名称,该数据集将同步在ModelArts数据集列表中。
      • “描述”可以添加对于该数据集的相关描述。
      图2 下载数据集(至ModelArts)
  6. 单击“确定”,跳转至我的数据 > 我的下载页面。

    下载的数据集在AI Gallery我的数据 > 我的下载不会立即显示,需要刷新该页面才能看到新下载的数据集。

在Notebook中使用数据集

  1. 登录“AI Gallery”。
  2. 选择“资产集市 > 数据集”,进入数据页面,该页面展示了所有共享的数据集。
  3. 搜索业务所需的数据集,请参见查找和收藏资产
  4. 单击目标数据集进入详情页面。

    在详情页面查看数据集的“描述”“版本”“限制”等信息。

  5. 在详情页面单击“Run in ModelArts”,跳转到ModelArts控制台并自动创建Notebook,进入Notebook实例的JupyterLab页面。

    参考使用JupyterLab在JupyterLab页面进行开发调试。

相关文档