创建数据集版本-CreateDatasetVersion

功能介绍

创建数据集版本

授权信息

账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。

如果使用角色与策略授权，具体权限要求请参见权限和授权项。
如果使用身份策略授权，需具备如下身份策略权限。

授权项

访问级别

资源类型（*为必须）

条件键

别名

依赖的授权项

octopus:dataset:create

Write

workspace *

-

-

-

授权项	访问级别	资源类型（*为必须）	条件键	别名	依赖的授权项
octopus:dataset:create	Write	workspace *	-	-	-

URI

POST /v1.0/{project_id}/common/datasets/{dataset_id}/versions

表1 路径参数
参数	是否必选	参数类型	描述
project_id	是	String	参数解释：项目ID，获取方法请参见获取项目ID。约束限制：不涉及取值范围：只能用小写字母 a-z 和数字 0-9组成，且长度为32个字符默认取值：不涉及
dataset_id	是	String	参数解释：数据集id 约束限制：不涉及取值范围：标准36位带横杠、小写UUID 默认取值：不涉及

请求参数

表2 请求Header参数
参数	是否必选	参数类型	描述
Content-Type	是	String	参数解释：内容类型。填application/json 约束限制：不涉及取值范围：不涉及默认取值：不涉及
X-Auth-Token	是	String	参数解释：用户Token，通过调用IAM服务获取用户Token接口获取（响应消息头中X-Subject-Token的值）约束限制：不涉及取值范围：不涉及默认取值：不涉及

表3 请求Body参数
参数	是否必选	参数类型	描述
batch_task_id	否	String	参数解释：筛选标注任务约束限制：数据集来源(data_source)为标注(LABEL)时必填取值范围：标准36位带横杠、小写UUID 默认取值：不涉及
label_meta_names	否	Array of strings	参数解释：标注名约束限制：数据集来源(data_source)为标注(LABEL)时必填
access_key	否	String	参数解释：用户base64编码后的ak 约束限制：数据集来源为OBS时必填取值范围：不涉及默认取值：不涉及
secret_key	否	String	参数解释：用户base64编码后的sk 约束限制：数据集来源为OBS时必填取值范围：不涉及默认取值：不涉及
only_valid	否	Boolean	参数解释：标注帧约束限制：该参数不传:全部标注帧(数据集来源为标注时选填参数) 取值范围： true：有效标注帧 true：无效标注帧默认取值：不涉及
hard_mining	否	Boolean	参数解释：难例数据集约束限制：该参数不传:全部数据集(数据集来源为标注时选填参数) 取值范围： true：仅难例数据集 false：非难例数据集默认取值：不涉及
status	否	String	参数解释：标注数据集约束限制：数据集来源(data_source)为标注(LABEL)时必填取值范围： all：全部数据集 labeled：已标注数据集默认取值：不涉及
description	否	String	参数解释：描述约束限制：不涉及取值范围：不包含\ @ # $ / %^ & * < > 且长度为[0~256] 默认取值：不涉及
bucket_path	否	String	参数解释： obs文件夹地址约束限制：数据集来源为OBS时必填，多个obs路径用逗号隔开传参，最大支持50个obs路径，且单个obs路径中不支持含有逗号取值范围：不涉及默认取值：不涉及
bucket_name	否	String	参数解释：桶名约束限制：数据集来源为OBS时必填取值范围：只能用小写英文字母、数字、“-”、“.”组成，且长度为[3~63]个字符默认取值：不涉及
warehouse_params	否	WarehouseParam object	参数解释：通用存储筛选数据参数约束限制：数据集来源为通用存储时必填
custom_image	否	String	参数解释：自定义镜像名称，形如"自定义镜像id:自定义镜像版本号" 约束限制：不涉及取值范围：长度为[0~256]个字符默认取值：不涉及
command	否	String	参数解释：脚本路径约束限制：不涉及取值范围：不包含\ @ # $ / %^ & < > 且长度为[0~500] 默认取值：不涉及
cluster_id	否	String	参数解释：集群id 约束限制：不涉及取值范围：标准36位带横杠、小写UUID 默认取值：不涉及
spec	否	String	参数解释：资源规格约束限制：不涉及取值范围：不涉及默认取值：不涉及
agreement_confirm	是	Boolean	参数解释：隐私声明同意约束限制：不涉及取值范围： true：同意 false: 不同意默认取值：不涉及
tags	否	Array of strings	参数解释：标签约束限制：数据集类型(dataset_type)为子集(SUBSET)时可通过tag进行过滤
custom_attributes	否	Array of strings	参数解释：自定义属性约束限制：数据集类型(dataset_type)为子集(SUBSET)时可通过自定义属性进行过滤
customer_target_path	否	String	参数解释：存放路径约束限制：不涉及取值范围：不涉及默认取值：不涉及
mode	否	String	参数解释：上传模式约束限制：不涉及取值范围： REPLACE_ALL：全量替换 INCREMENTAL：增量上传默认取值：不涉及
envs	否	Array of JobEnv objects	参数解释：环境变量约束限制：不涉及

表4 WarehouseParam
参数	是否必选	参数类型	描述
data_process_task_ids	否	Array of strings	参数解释：数据处理任务id，当传多个时是或的查询条件约束限制：不涉及
raw_data_ids	否	Array of strings	参数解释：原始数据id，当传多个时是或的查询条件约束限制：不涉及
start_time	否	Long	参数解释：原始数据采集时间，起始时间，UTC标准时间毫秒时间戳约束限制：不涉及取值范围：不涉及默认取值：不涉及
end_time	否	Long	参数解释：原始数据采集时间，终止时间，UTC标准时间毫秒时间戳约束限制：不涉及取值范围：不涉及默认取值：不涉及
file_name	否	String	参数解释：文件名称，单个模糊匹配约束限制：不涉及取值范围：长度为[0~1024]个字符默认取值：不涉及
file_types	否	Array of strings	参数解释：文件类型约束限制：不涉及
and_tags	否	Array of strings	参数解释：标签id，当传多个时是且的查询条件约束限制：不涉及
or_tags	否	Array of strings	参数解释：标签id，当传多个时是或的查询条件约束限制：不涉及
and_custom_attributes	否	Array of strings	参数解释：自定义属性id查询条件，当传多个时是且的查询条件约束限制：不涉及
or_custom_attributes	否	Array of strings	参数解释：自定义属性id查询条件，当传多个时是或的查询条件约束限制：不涉及

表5 JobEnv
参数	是否必选	参数类型	描述
key	是	String	参数解释：环境变量key 约束限制：不涉及取值范围：只能用中文字符、大小写英文字母、数字、”_“、”-“组成，且长度为[1~64]个字符默认取值：不涉及
value	是	String	参数解释：环境变量value 约束限制：不涉及取值范围：只能用中文字符、大小写英文字母、数字、“-”、“_”、“/”、“:”、“.”、“”、“,”、“;”组成，且长度为[1~64]个字符默认取值*：不涉及

响应参数

状态码：200

表6 响应Body参数
参数	参数类型	描述
payload	CreateDatasetVersionInfoPayload object	参数解释：实际返回信息
meta_info	MetaInfo object	参数解释：元数据

表7 CreateDatasetVersionInfoPayload
参数	参数类型	描述
item	LabelDatasetVersion object	参数解释：版本信息

表8 LabelDatasetVersion
参数	参数类型	描述
id	String	参数解释：数据集版本id 取值范围：不涉及
label_dataset_id	String	参数解释：数据集id 取值范围：不涉及
name	String	参数解释：名称取值范围：不涉及
batch_task_id	String	参数解释：批次任务id 取值范围：不涉及
label_meta_names	Array of strings	参数解释：标注物名取值范围：不涉及
only_valid	Boolean	参数解释：可用，true为可用，false为不可用取值范围： true：可用 false：不可用
hard_mining	Boolean	参数解释：难例，true为难例，false为非难例取值范围： true：难例 false：非难例
label_format	String	参数解释：标注格式取值范围： OCTOPUS：OCTOPUS格式 USER_DEFINE：自定义格式
status	String	参数解释：状态取值范围： CREATING：创建中 IN_INTEGRATION：整合中 IMPORTING：导入中 SUCCESS：完成 INTEGRATION_FAILED：整合失败 IMPORT_FAILED：导入失败 IMPORT_PRE_SUCCESS：导入任务,标注数据准备成功 UPLOAD_SUSPENDED：上传中断 INITIALIZING：初始化
frame_num	String	参数解释：帧文件数量取值范围：不涉及
frame_size	String	参数解释：帧文件大小，包含单位取值范围：不涉及
label_count	String	参数解释：标志物数量取值范围：不涉及
tags	Array of strings	参数解释：标签取值范围：不涉及
custom_attributes	Array of strings	参数解释：自定义属性，格式形式"key:value" 取值范围：不涉及
custom_image	String	参数解释：自定义镜像取值范围：不涉及
command	String	参数解释：脚本路径取值范围：不涉及
description	String	参数解释：描述取值范围：不涉及
project_id	String	参数解释：项目id 取值范围：不涉及
workspace_id	String	参数解释：工作空间id 取值范围：不涉及
create_at	String	参数解释：创建时间，UTC标准时间毫秒时间戳取值范围：不涉及
update_at	String	参数解释：修改时间，UTC标准时间毫秒时间戳取值范围：不涉及
upload_id	String	参数解释：上传id 取值范围：不涉及
agreement_confirm	Boolean	参数解释：隐私声明同意取值范围：不涉及
source_version_id	String	参数解释：子集的源数据集版本ID 取值范围：不涉及

表9 MetaInfo
参数	参数类型	描述
current_time	String	参数解释：请求时间，UTC时间格式，时间为UTC标准时间取值范围：不涉及

请求示例

创建通用存储类型的数据集版本

POST https://{endpoint}/v1.0/{project_id}/common/datasets/61a22ebc-49b3-40b5-b16f-ab9aebd2b231/versions

{
  "agreement_confirm" : true,
  "description" : "数据集版本",
  "command" : "command",
  "custom_image" : "10293:1",
  "cluster_id" : "e899e611-5571-41ee-ab0c-cc6c94293d93",
  "spec" : "Ant03_1Gpu_6Core_12GiB",
  "warehouse_params" : {
    "raw_data_ids" : [ "DPK0003878" ],
    "and_tags" : [ 956 ],
    "and_custom_attributes" : [ "61153deb-88ad-4f66-8bad-e3877bed309e" ],
    "file_types" : [ "TEXT" ],
    "start_time" : 1701360000000,
    "end_time" : 1701532799999
  }
}

创建标注类型的数据集版本

POST https://{endpoint}/v1.0/{project_id}/common/datasets/61a22ebc-49b3-40b5-b16f-ab9aebd2b231/versions

{
  "agreement_confirm" : true,
  "description" : "数据集版本",
  "command" : "command",
  "custom_image" : "10293:1",
  "cluster_id" : "e899e611-5571-41ee-ab0c-cc6c94293d93",
  "spec" : "Ant03_1Gpu_6Core_12GiB",
  "status" : "labeled",
  "batch_task_id" : "e3d7ede3817541d29467388ac14b0eee",
  "label_meta_names" : [ "Person_sitting" ],
  "only_valid" : true,
  "hard_mining" : true
}

创建OBS类型的数据集版本

POST https://{endpoint}/v1.0/{project_id}/common/datasets/61a22ebc-49b3-40b5-b16f-ab9aebd2b231/versions

{
  "agreement_confirm" : true,
  "description" : "数据集版本",
  "command" : "command",
  "custom_image" : "10293:1",
  "cluster_id" : "e899e611-5571-41ee-ab0c-cc6c94293d93",
  "spec" : "Ant03_1Gpu_6Core_12GiB",
  "access_key" : "CIMTUKMSFSUPGKZL9OKH",
  "secret_key" : "iahcmjPI3YpmVRVTlbEAppE6eMSd84Pvmkhp0L1d",
  "bucket_name" : "octopus-raw-64d37c8f25af4277a1ff4ee9772687bf",
  "bucket_path" : "test/test"
}

创建子集版本

POST https://{endpoint}/v1.0/{project_id}/common/datasets/61a22ebc-49b3-40b5-b16f-ab9aebd2b231/versions

{
  "agreement_confirm" : true,
  "description" : "数据集版本",
  "command" : "command",
  "custom_image" : "10293:1",
  "cluster_id" : "e899e611-5571-41ee-ab0c-cc6c94293d93",
  "spec" : "Ant03_1Gpu_6Core_12GiB"
}

响应示例

状态码：200

创建成功

创建通用存储类型的数据集版本

{
  "meta_info" : {
    "current_time" : "2024-01-02T02:04:22Z"
  },
  "payload" : {
    "item" : {
      "id" : "102575d5-cf89-4aca-b856-0d39ae2a69c5",
      "label_dataset_id" : "61a22ebc-49b3-40b5-b16f-ab9aebd2b231",
      "name" : "V1",
      "label_format" : "OCTOPUS",
      "status" : "INITIALIZING",
      "frame_num" : 0,
      "frame_size" : 0,
      "label_count" : 0,
      "custom_image" : "10293:1",
      "command" : "command",
      "cluster_id" : "e899e611-5571-41ee-ab0c-cc6c94293d93",
      "spec" : "Ant03_1Gpu_6Core_12GiB",
      "description" : "数据集版本",
      "project_id" : "64d37c8f25af4277a1ff4ee9772687bf",
      "workspace_id" : 0,
      "create_at" : 1701403732492,
      "update_at" : 1701403732492,
      "agreement_confirm" : true
    }
  }
}

创建标注类型的数据集版本

{
  "meta_info" : {
    "current_time" : "2024-01-02T02:04:22Z"
  },
  "payload" : {
    "item" : {
      "id" : "102575d5-cf89-4aca-b856-0d39ae2a69c5",
      "label_dataset_id" : "61a22ebc-49b3-40b5-b16f-ab9aebd2b231",
      "name" : "V1",
      "label_format" : "OCTOPUS",
      "status" : "INITIALIZING",
      "frame_num" : 0,
      "frame_size" : 0,
      "label_count" : 0,
      "custom_image" : "10293:1",
      "command" : "command",
      "cluster_id" : "e899e611-5571-41ee-ab0c-cc6c94293d93",
      "spec" : "Ant03_1Gpu_6Core_12GiB",
      "description" : "数据集版本",
      "project_id" : "64d37c8f25af4277a1ff4ee9772687bf",
      "workspace_id" : 0,
      "create_at" : 1701403732492,
      "update_at" : 1701403732492,
      "search_status" : "labeled",
      "hard_mining" : true,
      "only_valid" : true,
      "label_meta_names" : [ "Person_sitting" ],
      "batch_task_id" : "e3d7ede3817541d29467388ac14b0eee",
      "agreement_confirm" : true
    }
  }
}

创建OBS类型的数据集版本

{
  "meta_info" : {
    "current_time" : "2024-01-02T02:04:22Z"
  },
  "payload" : {
    "item" : {
      "id" : "102575d5-cf89-4aca-b856-0d39ae2a69c5",
      "label_dataset_id" : "61a22ebc-49b3-40b5-b16f-ab9aebd2b231",
      "name" : "V1",
      "label_format" : "OCTOPUS",
      "status" : "INITIALIZING",
      "frame_num" : 0,
      "frame_size" : 0,
      "label_count" : 0,
      "custom_image" : "10293:1",
      "command" : "command",
      "cluster_id" : "e899e611-5571-41ee-ab0c-cc6c94293d93",
      "spec" : "Ant03_1Gpu_6Core_12GiB",
      "description" : "数据集版本",
      "project_id" : "64d37c8f25af4277a1ff4ee9772687bf",
      "workspace_id" : 0,
      "create_at" : 1701403732492,
      "update_at" : 1701403732492,
      "agreement_confirm" : true
    }
  }
}

创建子集版本

{
  "meta_info" : {
    "current_time" : "2024-01-02T02:04:22Z"
  },
  "payload" : {
    "item" : {
      "id" : "102575d5-cf89-4aca-b856-0d39ae2a69c5",
      "label_dataset_id" : "61a22ebc-49b3-40b5-b16f-ab9aebd2b231",
      "name" : "V1",
      "label_format" : "OCTOPUS",
      "status" : "INITIALIZING",
      "frame_num" : 0,
      "frame_size" : 0,
      "label_count" : 0,
      "custom_image" : "10293:1",
      "command" : "command",
      "cluster_id" : "e899e611-5571-41ee-ab0c-cc6c94293d93",
      "spec" : "Ant03_1Gpu_6Core_12GiB",
      "description" : "数据集版本",
      "project_id" : "64d37c8f25af4277a1ff4ee9772687bf",
      "workspace_id" : 0,
      "create_at" : 1701403732492,
      "update_at" : 1701403732492,
      "agreement_confirm" : true,
      "source_version_id" : "8d6df90a-8cd2-4ee6-ae12-36ae090600b5"
    }
  }
}