更新时间:2025-09-16 GMT+08:00
分享

管理盘古数据资产

数据资产介绍

数据资产是指在平台中被纳入管理、存储并可供使用的数据集。

数据资产包含以下两种形式:

  • 用户自行发布的数据集

    用户可以通过“数据工程 > 数据发布 >发布任务 ”功能将数据集发布为数据资产。发布的数据集支持查看详细信息、编辑、删除以及发布至AI Gallery等操作。

  • 从AI Gallery订阅的数据资产

    除了用户自行发布的数据集,平台还提供了从AI Gallery中订阅数据资产的功能。AI Gallery提供了模型、数据集、AI应用等AI数字资产的共享,为企业级或个人开发者等群体,提供安全、开放的共享及交易环节。

约束限制

数据发布至AI Gallery或者从AI Gallery订阅数据资产,均需要从ModelArts服务中配置OBS授权。配置方法见配置OBS授权

配置OBS授权

  1. 登录ModelArts服务,左侧导航栏选择“权限管理”。
  2. 在“权限管理”配置页面,单击“添加授权”按钮,进入“添加授权”配置页面。
  3. 在“添加授权”页面,按照表1 “添加授权”配置说明配置。以IAM子用户获取授权为例,配置如图1
    表1 “添加授权”配置说明

    配置项

    配置子项

    配置说明

    授权配置

    授权对象类型

    配置被授权用户类型。ModelArts服务提供“IAM子用户”、“联邦用户”、“委托用户”及“所有用户”四类用户。

    盘古大模型服务要获取ModelArts服务OBS授权,可选择“所有用户”或“IAM子用户”。

    授权对象

    “授权对象类型”设置为“IAM子用户”时,设置当前需授权的IAM用户账号。

    委托选择

    配置委托类型。如果之前在ModelArts设置过委托类型,可选择“已有委托”,否则选择“新增委托”。

    委托名称

    当“委托选择”设置为“新增委托”时,需要自定义委托名称,委托名称规范见页面提示的对话框。

    权限配置

    权限配置类型。针对当前场景,选择“普通模式”即可。

    权限模板

    预置权限配置模板,不用选择。

    服务列表

    在“服务列表”中搜索OBS,弹出“对象存储服务(OBS)”,选择即可。

    功能权限

    在“服务列表”中选择到服务之后,会出现该服务的所有权限,选择对应授权即可。

    图1 IAM子用户授权添加OBS授权
  4. 将数据发布至AI Gallery,需获取OBS授权项见表2
    表2 发布数据OBS授权项

    授权项

    授权项解释

    obs:bucket:ListBucket

    列举桶内对象

    obs:object:GetObject

    获取对象内容、获取对象元数据

    obs:bucket:GetBucketLocation

    获取桶区域位置

  5. 从AI Gallery订阅数据资产,需获取OBS权限见表3
    表3 订阅数据资产OBS授权项

    授权项

    授权项解释

    obs:object:PutObject

    PUT上传、POST上传、复制对象、追加写对象、初始化上传段任务、上传段、合并段

发布数据资产至AI Gallery

  1. 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。
    图2 我的空间
  2. 在左侧导航栏中选择“空间资产 > 数据”。
  3. 单击数据资产(“发布至Gallery”为可选择状态)操作列的“发布至Gallery”,对数据资产进行发布。
  4. 在“发布到AI Gallery”页面填写AI Gallery资产名称与描述,选择可订阅区域约束与可看范围,单击“确定”,发布数据资产至AI Gallery。
    图3 发布到AI Gallery
  5. 数据资产列表页将显示发布数据资产的状态:
    • 如果状态为“发布中”,表示该资产正在同步至AI Gallery,请耐心等待。
    • 如果状态为“发布成功”,表示该资产已同步至AI Gallery,可单击操作列“查看发布信息”以查看该资产的发布信息。
    • 如果状态为“发布失败”,表示该资产未成功同步至AI Gallery,可单击“发布到Gallery”重新对数据资产进行发布。

从AI Gallery订阅数据资产

  1. 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。
    图4 我的空间
  2. 在左侧导航栏中选择“空间资产 > 数据”。
  3. 单击右上角“订阅数据”,在“从AI Gallery订阅”页面选择需订阅的数据资产,单击“下一步”。
  4. 填写资产名称与资产描述后,单击“确定”实现数据资产的订阅。
  5. 数据资产列表页将显示订阅数据资产的状态:
    • 如果状态为“订阅中”,表示该资产正从AI Gallery同步中,请耐心等待。
    • 如果状态为“订阅成功”,表示该资产已从AI Gallery订阅成功,可单击操作列“查看订阅信息”以查看该资产的订阅信息。
    • 如果状态为“订阅失败”,表示该资产未成功从AI Gallery订阅,可单击“重新订阅”重新从AI Gallery订阅数据资产。
  6. 订阅成功后的数据资产,将在“数据工程 > 数据管理> 数据集 > 原始数据集”中显示,可执行后续的数据加工及发布操作。

管理数据资产

  1. 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。
    图5 我的空间
  2. 在左侧导航栏中选择“空间资产 > 数据”。
  3. 单击“任务发布”页签,可对用户自行发布的数据集执行以下操作:
    • 查看基本信息。单击具体数据资产,可查看资产的配比详情、数据详情等基本信息。
    • 发布至Gallery。单击操作列的“发布至Gallery”,可发布数据资产至AI Gallery。
    • 查看发布信息。单击“查看发布信息”,查看该资产的发布信息(该操作需提前发布该数据资产至AI Gallery)。
    • 编辑属性。单击操作列的“更多 > 编辑属性”,可编辑数据资产的名称、描述以及资产可见性。
    • 删除。单击操作列的“更多 > 删除”,可删除当前数据资产。
    • 取消发布至Gallery。单击操作列的“更多 > 取消发布”,可将已发布至AI Gallery的数据资产取消发布(该操作需提前发布该数据资产至AI Gallery)。
  4. 单击“AI Gallery”页签,可对从AI Gallery订阅的数据资产执行以下操作:
    • 查看订阅信息。单击具体数据资产或操作列的“查看订阅信息”,查看该资产的名称描述等订阅信息。
    • 编辑属性操作。单击操作列的“更多 > 编辑属性”,可编辑数据资产的名称、描述以及资产可见性。
    • 删除操作。单击操作列的“更多 > 删除”,可删除当前数据资产。
    • 重新订阅。如果订阅失败,单击操作列的“重新订阅”,可重新从AI Gallery订阅所需数据资产。

相关文档