更新时间:2024-10-30 GMT+08:00
分享

数据来源为数据集

根据数据来源不同,可分为以下四种形式创建数据集。

本地

  1. 在左侧菜单栏中单击“数据资产 > 数据集 ”。
  2. 选择“数据集”页签,单击“创建数据集”,填写数据集信息。

    图1 创建数据集
    • 名称:不得超过64个字符。支持中英文、数字、“-”、“_”,不支持特殊字符。
    • 描述:数据集内容、用途等的简要描述,不包含“@#$%^&*< > \”,不得超过255个字符。
    • 数据集形式:选择“数据集”。
    • 数据来源:选择“本地”。
    • 数据类型:支持“图片”、“3D点云”、“音频”和“文本”。
    • 数据格式:可选择“Octopus”、“USER_DEFINE”和自定义格式。
    • 标注状态:设置标注状态,支持“未标注”和“已标注”。

  3. 单击“下一步”,添加数据,并勾选“我已阅读并同意《八爪鱼自动驾驶云服务声明》”。

    图2 添加数据
    表1 版本参数

    参数

    说明

    镜像

    选择镜像以及镜像版本。

    启动脚本路径

    选择脚本的启动文件路径,文件路径为在脚本中的相对路径,当前只支持.py类型的启动文件。

  4. 单击“下一步”,上传文件。
  5. 单击“下一步”,系统自动跳至数据集列表页面,可在该页面对数据集进行查看、删除、添加或导出版本、缓存加速操作。

标注

  1. 在左侧菜单栏中单击“数据资产 > 数据集”。
  2. 选择“数据集”页签,单击“创建数据集”,填写数据集信息。

    图3 创建数据集
    • 名称:不得超过64个字符。支持中英文、数字、“-”、“_”,不支持特殊字符。
    • 描述:数据集内容、用途等的简要描述,不包含“@#$%^&*< > \”,不得超过255个字符。
    • 数据集形式:选择“数据集”。
    • 数据来源:选择“标注”。
    • 数据类型:支持“图片”、“3D点云”、“音频”和“文本”。
    • 数据格式:目前仅支持“Octopus”格式。
    • 标注状态:目前仅支持“已标注”。
    • 标注项目:下拉选择标注项目,项目均在标注项目中创建成功。

  3. 单击“下一步”,添加数据,并勾选“我已阅读并同意《八爪鱼自动驾驶云服务声明》”。

    图4 添加数据
    表2 版本参数

    参数

    说明

    批次任务

    选择标注项目中的批次任务。

    标注

    在选择标注任务的同时,系统自动选择标注,可对其进行添加或删除。

    标注帧

    可选择“全部标注帧”“有效标注帧”“无效标注帧”。

    标注数据集

    可选择“全部数据集”“已标注数据集”。

    难例数据集

    可选择“全部数据集”“仅难例数据集”“非仅难例数据集”。

    镜像

    选择镜像以及镜像版本。

    启动脚本路径

    选择脚本的启动文件路径,文件路径为在脚本中的相对路径,当前只支持.py类型的启动文件。

  4. 单击“下一步”,系统自动跳至数据集列表页面,可在该页面对数据集进行查看、删除、添加或导出版本、缓存加速操作。

OBS导入

  1. 在左侧菜单栏中单击“数据资产 > 数据集 ”。
  2. 选择“数据集”页签,单击“创建数据集”,填写数据集信息。

    图5 创建数据集
    • 名称:不得超过64个字符。支持中英文、数字、“-”、“_”,不支持特殊字符。
    • 描述:数据集内容、用途等的简要描述,不包含“@#$%^&*< > \”,不得超过255个字符。
    • 数据集形式:选择“数据集”。
    • 数据来源:选择“OBS”。
    • 数据类型:支持“图片”、“3D点云”、“音频”和“文本”。
    • 数据格式:可选择“Octopus”、“USER_DEFINE”和自定义格式。
    • 标注状态:设置标注状态,支持“未标注”和“已标注”。

  3. 单击“下一步”,添加数据,并勾选“我已阅读并同意《八爪鱼自动驾驶云服务声明》”。

    图6 添加数据
    表3 版本参数

    参数

    说明

    镜像

    选择镜像以及镜像版本。

    启动脚本路径

    选择脚本的启动文件路径,文件路径为在脚本中的相对路径,当前只支持.py类型的启动文件。

    访问密钥

    请输入访问密钥(AK)。

    私有访问密钥

    请输入私有访问密钥(SK)。

    OBS地址

    选择OBS桶中的地址,建议选择data、meta的上一级目录。

    存放路径

    “数据格式”选择“USER_DEFINE”或自定义格式时,可以选择存放路径。不选择存放路径,数据默认存放在数据集根目录下。

    • 访问密钥ID(AK)和私有访问密钥(SK),在导入数据时,通过AK识别访问用户的身份,通过SK对请求数据进行签名验证,用于确保请求的机密性、完整性和请求者身份的正确性。如何获取访问密钥AK/SK?
    • 输入的访问密钥和私有访问密钥需要具有OBS服务如下权限:

      obs:object:GetObject

      obs:object:PutObject

      obs:bucket:ListAllMyBuckets

      obs:bucket:ListBucket

      查看用户拥有的OBS服务权限,可参考如何查看用户拥有的权限?

  4. 单击“下一步”,系统自动跳至数据集列表页面,可在该页面对数据集进行查看、删除、添加或导出版本、缓存加速操作。

通用存储

  1. 在左侧菜单栏中单击“数据资产 > 数据集”。
  2. 选择“数据集”页签,单击“创建数据集”,填写数据集信息。

    图7 创建数据集
    • 名称:不得超过64个字符。支持中英文、数字、“-”、“_”,不支持特殊字符。
    • 描述:数据集内容、用途等的简要描述,不包含“@#$%^&*< > \”,不得超过255个字符。
    • 数据集形式:选择“数据集”。
    • 数据来源:选择“通用存储”。
    • 数据类型:可选择“图片”、“3D点云”、“音频”、“文本”和“视频”。
    • 数据格式:可选择“Octopus”、“USER_DEFINE”或自定义格式。
    • 标注状态:设置标注状态,支持“未标注”和“已标注”。
    • 通用存储:选择通用存储。

  3. 单击“下一步”,添加数据,并勾选“我已阅读并同意《八爪鱼自动驾驶云服务声明》”。

    图8 添加数据
    表4 版本参数

    参数

    说明

    镜像

    选择镜像以及镜像版本。

    启动脚本路径

    选择脚本的启动文件路径,文件路径为在脚本中的相对路径,当前只支持.py类型的启动文件。

    筛选条件

    根据需要选择筛选条件。

  4. 单击“下一步”,数据集创建完后,系统自动跳至数据集列表页面,可在该页面对数据集进行查看、删除、添加或导出版本、缓存加速操作。

相关文档