# 创建数据集版本-CreateDatasetVersion #### 功能介绍 创建数据集版本 #### 授权信息 账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。 - 如果使用角色与策略授权，具体权限要求请参见[权限和授权项](https://support.huaweicloud.com/api-octopus/Permission.html)。 - 如果使用身份策略授权，需具备如下身份策略权限。 | 授权项 | 访问级别 | 资源类型（\*为必须） | 条件键 | 别名 | 依赖的授权项 | |:---|:---|:---|:---|:---|:---| | octopus:dataset:create | Write | workspace \* | - | - | - | #### URI POST /v1.0/{project_id}/common/datasets/{dataset_id}/versions 表1路径参数 | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | project_id | 是 | String | **参数解释**： 项目ID，获取方法请参见[获取项目ID](https://support.huaweicloud.com/api-octopus/octopus-10-0020.html)。 **约束限制**： 不涉及 **取值范围**： 只能用小写字母 a-z 和数字 0-9组成，且长度为32个字符 **默认取值**： 不涉及 | | dataset_id | 是 | String | **参数解释**： 数据集id **约束限制**： 不涉及 **取值范围**： 标准36位带横杠、小写UUID **默认取值**： 不涉及 | #### 请求参数 表2请求Header参数 | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | Content-Type | 是 | String | **参数解释**： 内容类型。填application/json **约束限制**： 不涉及 **取值范围**： 不涉及 **默认取值**： 不涉及 | | X-Auth-Token | 是 | String | **参数解释**： 用户Token，通过调用IAM服务获取用户Token接口获取（响应消息头中X-Subject-Token的值） **约束限制**： 不涉及 **取值范围**： 不涉及 **默认取值**： 不涉及 | 表3请求Body参数 | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | batch_task_id | 否 | String | **参数解释**： 筛选标注任务 **约束限制**： 数据集来源(data_source)为标注(LABEL)时必填 **取值范围**： 标准36位带横杠、小写UUID **默认取值**： 不涉及 | | label_meta_names | 否 | Array of strings | **参数解释**： 标注名 **约束限制**： 数据集来源(data_source)为标注(LABEL)时必填 | | access_key | 否 | String | **参数解释**： 用户base64编码后的ak **约束限制**： 数据集来源为OBS时必填 **取值范围**： 不涉及 **默认取值**： 不涉及 | | secret_key | 否 | String | **参数解释**： 用户base64编码后的sk **约束限制**： 数据集来源为OBS时必填 **取值范围**： 不涉及 **默认取值**： 不涉及 | | only_valid | 否 | Boolean | **参数解释**： 标注帧 **约束限制**： 该参数不传:全部标注帧(数据集来源为标注时选填参数) **取值范围**： - true：有效标注帧 - true：无效标注帧 **默认取值**： 不涉及 | | hard_mining | 否 | Boolean | **参数解释**： 难例数据集 **约束限制**： 该参数不传:全部数据集(数据集来源为标注时选填参数) **取值范围**： - true：仅难例数据集 - false：非难例数据集 **默认取值**： 不涉及 | | status | 否 | String | **参数解释**： 标注数据集 **约束限制**： 数据集来源(data_source)为标注(LABEL)时必填 **取值范围**： - all：全部数据集 - labeled：已标注数据集 **默认取值**： 不涉及 | | description | 否 | String | **参数解释**： 描述 **约束限制**： 不涉及 **取值范围**： 不包含\\ @ # $ %\^ \& \* \< \> 且长度为\[0\~256\] **默认取值**： 不涉及 | | bucket_path | 否 | String | **参数解释**： obs文件夹地址 **约束限制**： 数据集来源为OBS时必填，多个obs路径用逗号隔开传参，最大支持50个obs路径，且单个obs路径中不支持含有逗号 **取值范围**： 不涉及 **默认取值**： 不涉及 | | bucket_name | 否 | String | **参数解释**： 桶名 **约束限制**： 数据集来源为OBS时必填 **取值范围**： 只能用小写英文字母、数字、"-"、"."组成，且长度为\[3\~63\]个字符 **默认取值**： 不涉及 | | warehouse_params | 否 | [WarehouseParam] object | **参数解释**： 通用存储筛选数据参数 **约束限制**： 数据集来源为通用存储时必填 | | custom_image | 否 | String | **参数解释**： 自定义镜像名称，形如"自定义镜像id:自定义镜像版本号" **约束限制**： 不涉及 **取值范围**： 长度为\[0\~256\]个字符 **默认取值**： 不涉及 | | command | 否 | String | **参数解释**： 脚本路径 **约束限制**： 不涉及 **取值范围**： 不包含\\ @ # $ / %\^ \& \< \> 且长度为\[0\~500\] **默认取值**： 不涉及 | | cluster_id | 否 | String | **参数解释**： 集群id **约束限制**： 不涉及 **取值范围**： 标准36位带横杠、小写UUID **默认取值**： 不涉及 | | spec | 否 | String | **参数解释**： 资源规格 **约束限制**： 不涉及 **取值范围**： 不涉及 **默认取值**： 不涉及 | | agreement_confirm | 是 | Boolean | **参数解释**： 隐私声明同意 **约束限制**： 不涉及 **取值范围**： - true：同意 - false: 不同意 **默认取值**： 不涉及 | | tags | 否 | Array of strings | **参数解释**： 标签 **约束限制**： 数据集类型(dataset_type)为子集(SUBSET)时可通过tag进行过滤 | | custom_attributes | 否 | Array of strings | **参数解释**： 自定义属性 **约束限制**： 数据集类型(dataset_type)为子集(SUBSET)时可通过自定义属性进行过滤 | | customer_target_path | 否 | String | **参数解释**： 存放路径 **约束限制**： 不涉及 **取值范围**： 不涉及 **默认取值**： 不涉及 | | mode | 否 | String | **参数解释**： 上传模式 **约束限制**： 不涉及 **取值范围**： - REPLACE_ALL：全量替换 - INCREMENTAL：增量上传 **默认取值**： 不涉及 | | envs | 否 | Array of [JobEnv] objects | **参数解释**： 环境变量 **约束限制**： 不涉及 | 表4WarehouseParam | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | data_process_task_ids | 否 | Array of strings | **参数解释**： 数据处理任务id，当传多个时是或的查询条件 **约束限制**： 不涉及 | | raw_data_ids | 否 | Array of strings | **参数解释**： 原始数据id，当传多个时是或的查询条件 **约束限制**： 不涉及 | | start_time | 否 | Long | **参数解释**： 原始数据采集时间，起始时间，UTC标准时间毫秒时间戳 **约束限制**： 不涉及 **取值范围**： 不涉及 **默认取值**： 不涉及 | | end_time | 否 | Long | **参数解释**： 原始数据采集时间，终止时间，UTC标准时间毫秒时间戳 **约束限制**： 不涉及 **取值范围**： 不涉及 **默认取值**： 不涉及 | | file_name | 否 | String | **参数解释**： 文件名称，单个模糊匹配 **约束限制**： 不涉及 **取值范围**： 长度为\[0\~1024\]个字符 **默认取值**： 不涉及 | | file_types | 否 | Array of strings | **参数解释**： 文件类型 **约束限制**： 不涉及 | | and_tags | 否 | Array of strings | **参数解释**： 标签id，当传多个时是且的查询条件 **约束限制**： 不涉及 | | or_tags | 否 | Array of strings | **参数解释**： 标签id，当传多个时是或的查询条件 **约束限制**： 不涉及 | | and_custom_attributes | 否 | Array of strings | **参数解释**： 自定义属性id查询条件，当传多个时是且的查询条件 **约束限制**： 不涉及 | | or_custom_attributes | 否 | Array of strings | **参数解释**： 自定义属性id查询条件，当传多个时是或的查询条件 **约束限制**： 不涉及 | 表5JobEnv | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | key | 是 | String | **参数解释**： 环境变量key **约束限制**： 不涉及 **取值范围**： 只能用中文字符、大小写英文字母、数字、"_"、"-"组成，且长度为\[1\~64\]个字符 **默认取值**： 不涉及 | | value | 是 | String | **参数解释**： 环境变量value **约束限制**： 不涉及 **取值范围**： 只能用中文字符、大小写英文字母、数字、"-"、"_"、"/"、":"、"."、"\*"、","、";"组成，且长度为\[1\~64\]个字符 **默认取值**： 不涉及 | #### 响应参数 **状态码：200** 表6响应Body参数 | 参数 | 参数类型 | 描述 | |:---|:---|:---| | payload | [CreateDatasetVersionInfoPayload] object | **参数解释**： 实际返回信息 | | meta_info | [MetaInfo] object | **参数解释**： 元数据 | 表7CreateDatasetVersionInfoPayload | 参数 | 参数类型 | 描述 | |:---|:---|:---| | item | [LabelDatasetVersion] object | **参数解释**： 版本信息 | 表8LabelDatasetVersion | 参数 | 参数类型 | 描述 | |:---|:---|:---| | id | String | **参数解释**： 数据集版本id **取值范围**： 不涉及 | | label_dataset_id | String | **参数解释**： 数据集id **取值范围**： 不涉及 | | name | String | **参数解释**： 名称 **取值范围**： 不涉及 | | batch_task_id | String | **参数解释**： 批次任务id **取值范围**： 不涉及 | | label_meta_names | Array of strings | **参数解释**： 标注物名 **取值范围**： 不涉及 | | only_valid | Boolean | **参数解释**： 可用，true为可用，false为不可用 **取值范围**： - true：可用 - false：不可用 | | hard_mining | Boolean | **参数解释**： 难例，true为难例，false为非难例 **取值范围**： - true：难例 - false：非难例 | | label_format | String | **参数解释**： 标注格式 **取值范围**： - OCTOPUS：OCTOPUS格式 - USER_DEFINE：自定义格式 | | status | String | **参数解释**： 状态 **取值范围**： - CREATING：创建中 - IN_INTEGRATION：整合中 - IMPORTING：导入中 - SUCCESS：完成 - INTEGRATION_FAILED：整合失败 - IMPORT_FAILED：导入失败 - IMPORT_PRE_SUCCESS：导入任务,标注数据准备成功 - UPLOAD_SUSPENDED：上传中断 - INITIALIZING：初始化 | | frame_num | String | **参数解释**： 帧文件数量 **取值范围**： 不涉及 | | frame_size | String | **参数解释**： 帧文件大小，包含单位 **取值范围**： 不涉及 | | label_count | String | **参数解释**： 标志物数量 **取值范围**： 不涉及 | | tags | Array of strings | **参数解释**： 标签 **取值范围**： 不涉及 | | custom_attributes | Array of strings | **参数解释**： 自定义属性，格式形式"key:value" **取值范围**： 不涉及 | | custom_image | String | **参数解释**： 自定义镜像 **取值范围**： 不涉及 | | command | String | **参数解释**： 脚本路径 **取值范围**： 不涉及 | | description | String | **参数解释**： 描述 **取值范围**： 不涉及 | | project_id | String | **参数解释**： 项目id **取值范围**： 不涉及 | | workspace_id | String | **参数解释**： 工作空间id **取值范围**： 不涉及 | | create_at | String | **参数解释**： 创建时间，UTC标准时间毫秒时间戳 **取值范围**： 不涉及 | | update_at | String | **参数解释**： 修改时间，UTC标准时间毫秒时间戳 **取值范围**： 不涉及 | | upload_id | String | **参数解释**： 上传id **取值范围**： 不涉及 | | agreement_confirm | Boolean | **参数解释**： 隐私声明同意 **取值范围**： 不涉及 | | source_version_id | String | **参数解释**： 子集的源数据集版本ID **取值范围**： 不涉及 | 表9MetaInfo | 参数 | 参数类型 | 描述 | |:---|:---|:---| | current_time | String | **参数解释**： 请求时间，UTC时间格式，时间为UTC标准时间 **取值范围**： 不涉及 | #### 请求示例 - 创建通用存储类型的数据集版本 ``` POST https://{endpoint}/v1.0/{project_id}/common/datasets/61a22ebc-49b3-40b5-b16f-ab9aebd2b231/versions { "agreement_confirm" : true, "description" : "数据集版本", "command" : "command", "custom_image" : "10293:1", "cluster_id" : "e899e611-5571-41ee-ab0c-cc6c94293d93", "spec" : "Ant03_1Gpu_6Core_12GiB", "warehouse_params" : { "raw_data_ids" : [ "DPK0003878" ], "and_tags" : [ 956 ], "and_custom_attributes" : [ "61153deb-88ad-4f66-8bad-e3877bed309e" ], "file_types" : [ "TEXT" ], "start_time" : 1701360000000, "end_time" : 1701532799999 } } ``` - 创建标注类型的数据集版本 ``` POST https://{endpoint}/v1.0/{project_id}/common/datasets/61a22ebc-49b3-40b5-b16f-ab9aebd2b231/versions { "agreement_confirm" : true, "description" : "数据集版本", "command" : "command", "custom_image" : "10293:1", "cluster_id" : "e899e611-5571-41ee-ab0c-cc6c94293d93", "spec" : "Ant03_1Gpu_6Core_12GiB", "status" : "labeled", "batch_task_id" : "e3d7ede3817541d29467388ac14b0eee", "label_meta_names" : [ "Person_sitting" ], "only_valid" : true, "hard_mining" : true } ``` - 创建OBS类型的数据集版本 ``` POST https://{endpoint}/v1.0/{project_id}/common/datasets/61a22ebc-49b3-40b5-b16f-ab9aebd2b231/versions { "agreement_confirm" : true, "description" : "数据集版本", "command" : "command", "custom_image" : "10293:1", "cluster_id" : "e899e611-5571-41ee-ab0c-cc6c94293d93", "spec" : "Ant03_1Gpu_6Core_12GiB", "access_key" : "CIMTUKMSFSUPGKZL9OKH", "secret_key" : "iahcmjPI3YpmVRVTlbEAppE6eMSd84Pvmkhp0L1d", "bucket_name" : "octopus-raw-64d37c8f25af4277a1ff4ee9772687bf", "bucket_path" : "test/test" } ``` - 创建子集版本 ``` POST https://{endpoint}/v1.0/{project_id}/common/datasets/61a22ebc-49b3-40b5-b16f-ab9aebd2b231/versions { "agreement_confirm" : true, "description" : "数据集版本", "command" : "command", "custom_image" : "10293:1", "cluster_id" : "e899e611-5571-41ee-ab0c-cc6c94293d93", "spec" : "Ant03_1Gpu_6Core_12GiB" } ``` #### 响应示例 **状态码：200** 创建成功 - 创建通用存储类型的数据集版本 ``` { "meta_info" : { "current_time" : "2024-01-02T02:04:22Z" }, "payload" : { "item" : { "id" : "102575d5-cf89-4aca-b856-0d39ae2a69c5", "label_dataset_id" : "61a22ebc-49b3-40b5-b16f-ab9aebd2b231", "name" : "V1", "label_format" : "OCTOPUS", "status" : "INITIALIZING", "frame_num" : 0, "frame_size" : 0, "label_count" : 0, "custom_image" : "10293:1", "command" : "command", "cluster_id" : "e899e611-5571-41ee-ab0c-cc6c94293d93", "spec" : "Ant03_1Gpu_6Core_12GiB", "description" : "数据集版本", "project_id" : "64d37c8f25af4277a1ff4ee9772687bf", "workspace_id" : 0, "create_at" : 1701403732492, "update_at" : 1701403732492, "agreement_confirm" : true } } } ``` - 创建标注类型的数据集版本 ``` { "meta_info" : { "current_time" : "2024-01-02T02:04:22Z" }, "payload" : { "item" : { "id" : "102575d5-cf89-4aca-b856-0d39ae2a69c5", "label_dataset_id" : "61a22ebc-49b3-40b5-b16f-ab9aebd2b231", "name" : "V1", "label_format" : "OCTOPUS", "status" : "INITIALIZING", "frame_num" : 0, "frame_size" : 0, "label_count" : 0, "custom_image" : "10293:1", "command" : "command", "cluster_id" : "e899e611-5571-41ee-ab0c-cc6c94293d93", "spec" : "Ant03_1Gpu_6Core_12GiB", "description" : "数据集版本", "project_id" : "64d37c8f25af4277a1ff4ee9772687bf", "workspace_id" : 0, "create_at" : 1701403732492, "update_at" : 1701403732492, "search_status" : "labeled", "hard_mining" : true, "only_valid" : true, "label_meta_names" : [ "Person_sitting" ], "batch_task_id" : "e3d7ede3817541d29467388ac14b0eee", "agreement_confirm" : true } } } ``` - 创建OBS类型的数据集版本 ``` { "meta_info" : { "current_time" : "2024-01-02T02:04:22Z" }, "payload" : { "item" : { "id" : "102575d5-cf89-4aca-b856-0d39ae2a69c5", "label_dataset_id" : "61a22ebc-49b3-40b5-b16f-ab9aebd2b231", "name" : "V1", "label_format" : "OCTOPUS", "status" : "INITIALIZING", "frame_num" : 0, "frame_size" : 0, "label_count" : 0, "custom_image" : "10293:1", "command" : "command", "cluster_id" : "e899e611-5571-41ee-ab0c-cc6c94293d93", "spec" : "Ant03_1Gpu_6Core_12GiB", "description" : "数据集版本", "project_id" : "64d37c8f25af4277a1ff4ee9772687bf", "workspace_id" : 0, "create_at" : 1701403732492, "update_at" : 1701403732492, "agreement_confirm" : true } } } ``` - 创建子集版本 ``` { "meta_info" : { "current_time" : "2024-01-02T02:04:22Z" }, "payload" : { "item" : { "id" : "102575d5-cf89-4aca-b856-0d39ae2a69c5", "label_dataset_id" : "61a22ebc-49b3-40b5-b16f-ab9aebd2b231", "name" : "V1", "label_format" : "OCTOPUS", "status" : "INITIALIZING", "frame_num" : 0, "frame_size" : 0, "label_count" : 0, "custom_image" : "10293:1", "command" : "command", "cluster_id" : "e899e611-5571-41ee-ab0c-cc6c94293d93", "spec" : "Ant03_1Gpu_6Core_12GiB", "description" : "数据集版本", "project_id" : "64d37c8f25af4277a1ff4ee9772687bf", "workspace_id" : 0, "create_at" : 1701403732492, "update_at" : 1701403732492, "agreement_confirm" : true, "source_version_id" : "8d6df90a-8cd2-4ee6-ae12-36ae090600b5" } } } ``` #### 状态码 | 状态码 | 描述 | |:---|:---| | 200 | 创建成功 | | 400 | 参数校验失败 | | 500 | 系统内部错误 | #### 错误码 请参见[错误码](https://support.huaweicloud.com/api-octopus/ErrorCode.html)。