管理盘古数据资产
数据资产介绍
数据资产是指在平台中被纳入管理、存储并可供使用的数据集。
数据资产包含以下两种形式:
- 用户自行发布的数据集。
用户可以通过“数据工程 > 数据发布 >发布任务 ”功能将数据集发布为数据资产。发布的数据集支持查看详细信息、编辑、删除以及发布至AI Gallery等操作。
- 从AI Gallery订阅的数据资产。
除了用户自行发布的数据集,平台还提供了从AI Gallery中订阅数据资产的功能。AI Gallery提供了模型、数据集、AI应用等AI数字资产的共享,为企业级或个人开发者等群体,提供安全、开放的共享及交易环节。
约束限制
数据发布至AI Gallery或者从AI Gallery订阅数据资产,均需要从ModelArts服务中配置OBS授权。配置方法见配置OBS授权。
配置OBS授权
- 登录ModelArts服务,左侧导航栏选择“权限管理”。
- 在“权限管理”配置页面,单击“添加授权”按钮,进入“添加授权”配置页面。
- 在“添加授权”页面,按照表1 “添加授权”配置说明配置。以IAM子用户获取授权为例,配置如图1。
表1 “添加授权”配置说明 配置项
配置子项
配置说明
授权配置
授权对象类型
配置被授权用户类型。ModelArts服务提供“IAM子用户”、“联邦用户”、“委托用户”及“所有用户”四类用户。
盘古大模型服务要获取ModelArts服务OBS授权,可选择“所有用户”或“IAM子用户”。
授权对象
“授权对象类型”设置为“IAM子用户”时,设置当前需授权的IAM用户账号。
委托选择
配置委托类型。如果之前在ModelArts设置过委托类型,可选择“已有委托”,否则选择“新增委托”。
委托名称
当“委托选择”设置为“新增委托”时,需要自定义委托名称,委托名称规范见页面提示的对话框。
权限配置
权限配置类型。针对当前场景,选择“普通模式”即可。
权限模板
预置权限配置模板,不用选择。
服务列表
在“服务列表”中搜索OBS,弹出“对象存储服务(OBS)”,选择即可。
功能权限
在“服务列表”中选择到服务之后,会出现该服务的所有权限,选择对应授权即可。
- 将数据发布至AI Gallery,需获取OBS授权项见表2:
- 从AI Gallery订阅数据资产,需获取OBS权限见表3:
发布数据资产至AI Gallery
- 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。
图2 我的空间
- 在左侧导航栏中选择“空间资产 > 数据”。
- 单击数据资产(“发布至Gallery”为可选择状态)操作列的“发布至Gallery”,对数据资产进行发布。
- 在“发布到AI Gallery”页面填写AI Gallery资产名称与描述,选择可订阅区域约束与可看范围,单击“确定”,发布数据资产至AI Gallery。
图3 发布到AI Gallery
- 数据资产列表页将显示发布数据资产的状态:
- 如果状态为“发布中”,表示该资产正在同步至AI Gallery,请耐心等待。
- 如果状态为“发布成功”,表示该资产已同步至AI Gallery,可单击操作列“查看发布信息”以查看该资产的发布信息。
- 如果状态为“发布失败”,表示该资产未成功同步至AI Gallery,可单击“发布到Gallery”重新对数据资产进行发布。
从AI Gallery订阅数据资产
- 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。
图4 我的空间
- 在左侧导航栏中选择“空间资产 > 数据”。
- 单击右上角“订阅数据”,在“从AI Gallery订阅”页面选择需订阅的数据资产,单击“下一步”。
- 填写资产名称与资产描述后,单击“确定”实现数据资产的订阅。
- 数据资产列表页将显示订阅数据资产的状态:
- 如果状态为“订阅中”,表示该资产正从AI Gallery同步中,请耐心等待。
- 如果状态为“订阅成功”,表示该资产已从AI Gallery订阅成功,可单击操作列“查看订阅信息”以查看该资产的订阅信息。
- 如果状态为“订阅失败”,表示该资产未成功从AI Gallery订阅,可单击“重新订阅”重新从AI Gallery订阅数据资产。
- 订阅成功后的数据资产,将在“数据工程 > 数据管理> 数据集 > 原始数据集”中显示,可执行后续的数据加工及发布操作。
管理数据资产
- 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。
图5 我的空间
- 在左侧导航栏中选择“空间资产 > 数据”。
- 单击“任务发布”页签,可对用户自行发布的数据集执行以下操作:
- 查看基本信息。单击具体数据资产,可查看资产的配比详情、数据详情等基本信息。
- 发布至Gallery。单击操作列的“发布至Gallery”,可发布数据资产至AI Gallery。
- 查看发布信息。单击“查看发布信息”,查看该资产的发布信息(该操作需提前发布该数据资产至AI Gallery)。
- 编辑属性。单击操作列的“更多 > 编辑属性”,可编辑数据资产的名称、描述以及资产可见性。
- 删除。单击操作列的“更多 > 删除”,可删除当前数据资产。
- 取消发布至Gallery。单击操作列的“更多 > 取消发布”,可将已发布至AI Gallery的数据资产取消发布(该操作需提前发布该数据资产至AI Gallery)。
- 单击“AI Gallery”页签,可对从AI Gallery订阅的数据资产执行以下操作:
- 查看订阅信息。单击具体数据资产或操作列的“查看订阅信息”,查看该资产的名称描述等订阅信息。
- 编辑属性操作。单击操作列的“更多 > 编辑属性”,可编辑数据资产的名称、描述以及资产可见性。
- 删除操作。单击操作列的“更多 > 删除”,可删除当前数据资产。
- 重新订阅。如果订阅失败,单击操作列的“重新订阅”,可重新从AI Gallery订阅所需数据资产。