创建导入任务
功能介绍
创建数据集的导入任务:从存储系统导入样本、标签到数据集。
调试
您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
URI
POST /v2/{project_id}/datasets/{dataset_id}/import-tasks
参数 |
是否必选 |
参数类型 |
描述 |
---|---|---|---|
dataset_id |
是 |
String |
数据集ID。 |
project_id |
是 |
String |
用户项目ID。获取方法请参见获取项目ID和名称。 |
请求参数
参数 |
是否必选 |
参数类型 |
描述 |
---|---|---|---|
data_source |
否 |
DataSource object |
数据来源。 |
difficult_only |
否 |
Boolean |
是否只导入难例。可选值如下:
|
excluded_labels |
否 |
Array of Label objects |
不导入包含指定标签的样本。 |
final_annotation |
否 |
Boolean |
是否导入到最终状态。可选值如下:
|
import_annotations |
否 |
Boolean |
是否导入标签。可选值如下:
|
import_folder |
否 |
String |
导入后在数据集存储目录下子目录的名称。多次不同导入可以指定同一个子目录,避免相同样本重复导入。注:对表格数据集不可用。 |
import_origin |
否 |
String |
数据来源。可选值如下:
|
import_path |
是 |
String |
导入的OBS路径或manifest路径。
|
import_samples |
否 |
Boolean |
是否导入样本。可选值如下:
|
import_type |
否 |
String |
导入方式。可选值如下:
|
included_labels |
否 |
Array of Label objects |
导入包含指定标签的样本。 |
label_format |
否 |
LabelFormat object |
标签格式,此参数仅文本类数据集使用。 |
with_column_header |
否 |
Boolean |
文件中首行是否是列名,若是列名则不导入首行,用于表格数据集。可选值如下:
|
参数 |
是否必选 |
参数类型 |
描述 |
---|---|---|---|
data_path |
否 |
String |
数据源所在路径。 |
data_type |
否 |
Integer |
数据类型。可选值如下:
|
schema_maps |
否 |
Array of SchemaMap objects |
表格数据对应的schema映射信息。 |
source_info |
否 |
SourceInfo object |
导入表格数据源所需的信息。 |
with_column_header |
否 |
Boolean |
文件中首行是否是列名,用于表格数据集。可选值如下:
|
参数 |
是否必选 |
参数类型 |
描述 |
---|---|---|---|
cluster_id |
否 |
String |
MRS集群ID。可登录MRS控制台查看。 |
cluster_mode |
否 |
String |
MRS集群运行模式。可选值如下:
|
cluster_name |
否 |
String |
MRS集群名称。可登录MRS控制台查看。 |
database_name |
否 |
String |
导入表格数据集,数据库名字。 |
input |
否 |
String |
表格数据集,HDFS路径。例如/datasets/demo。 |
ip |
否 |
String |
用户GaussDB(DWS)集群的IP地址。 |
port |
否 |
String |
用户GaussDB(DWS)集群的端口。 |
queue_name |
否 |
String |
表格数据集,DLI队列名。 |
subnet_id |
否 |
String |
MRS集群的子网ID。 |
table_name |
否 |
String |
导入表格数据集,表名。 |
user_name |
否 |
String |
用户名,GaussDB(DWS)数据需提供此参数。 |
user_password |
否 |
String |
用户密码,GaussDB(DWS)数据需提供此参数。 |
vpc_id |
否 |
String |
MRS集群所在的vpc的ID。 |
参数 |
是否必选 |
参数类型 |
描述 |
---|---|---|---|
attributes |
否 |
Array of LabelAttribute objects |
标签的多维度属性,如标签为“音乐”,可能包含属性“风格”、“歌手”等。 |
name |
否 |
String |
标签名称。 |
property |
否 |
LabelProperty object |
标签基本属性键值对,如颜色、快捷键等。 |
type |
否 |
Integer |
标签类型。可选值如下:
|
参数 |
是否必选 |
参数类型 |
描述 |
---|---|---|---|
default_value |
否 |
String |
标签属性默认值。 |
id |
否 |
String |
标签属性ID。可通过调用标签列表查询。 |
name |
否 |
String |
标签属性名称。不能超过64个字符,不能包含字符!<>=&"'。 |
type |
否 |
String |
标签属性类型。可选值如下:
|
values |
否 |
Array of LabelAttributeValue objects |
标签属性值列表。 |
参数 |
是否必选 |
参数类型 |
描述 |
---|---|---|---|
@modelarts:color |
否 |
String |
内置属性:标签展示的颜色,为色彩的16进制代码,默认为空。例如:“#FFFFF0”。 |
@modelarts:default_shape |
否 |
String |
内置属性:物体检测标签的默认形状(物体检测标签专用属性),默认为空。可选值如下:
|
@modelarts:from_type |
否 |
String |
内置属性:三元组关系标签的起始实体类型,创建关系标签时必须指定,该参数仅文本三元组数据集使用。 |
@modelarts:rename_to |
否 |
String |
内置属性:重命名后的标签名。 |
@modelarts:shortcut |
否 |
String |
内置属性:标签快捷键,默认为空。例如:“D”。 |
@modelarts:to_type |
否 |
String |
内置属性:三元组关系标签的指向实体类型,创建关系标签时必须指定,该参数仅文本三元组数据集使用。 |
参数 |
是否必选 |
参数类型 |
描述 |
---|---|---|---|
label_type |
否 |
String |
文本分类的标签类型。可选值如下:
|
text_label_separator |
否 |
String |
标签与标签之间的分隔符,默认为逗号分隔,分隔符需转义。分隔符仅支持一个字符,必须为大小写字母,数字和“!@#$%^&*_=|?/':.;,”其中的某一字符。 |
text_sample_separator |
否 |
String |
文本与标签之间的分隔符,默认为Tab键分隔,分隔符需转义。分隔符仅支持一个字符,必须为大小写字母,数字和“!@#$%^&*_=|?/':.;,”其中的某一字符。 |
响应参数
状态码: 200
参数 |
参数类型 |
描述 |
---|---|---|
task_id |
String |
导入任务ID。 |
请求示例
-
创建导入(从OBS导入)任务
{ "import_type" : "dir", "import_path" : "s3://test-obs/daoLu_images/animals/", "included_labels" : [ ], "import_annotations" : false, "difficult_only" : false }
-
创建导入(从Manifest导入)任务
{ "import_type" : "manifest", "import_path" : "s3://test-obs/classify/output/dataset-f9e8-gfghHSokody6AJigS5A/annotation/V002/V002.manifest", "included_labels" : [ "rabbits", "bees", "Rabbits", "Bees" ], "import_annotations" : true, "difficult_only" : false }
响应示例
状态码: 200
OK
{ "task_id" : "gfghHSokody6AJigS5A_m1dYqOw8vWCAznw1V28" }
状态码
状态码 |
描述 |
---|---|
200 |
OK |
401 |
Unauthorized |
403 |
Forbidden |
404 |
Not Found |
错误码
请参见错误码。