更新时间:2024-04-30 GMT+08:00

属性总览

您可以使用DatasetImportStep来构建数据集导入节点,DatasetImportStep结构如下。

表1 DatasetImportStep

属性

描述

是否必填

数据类型

name

数据集导入节点的名称,命名规范:只能包含英文字母、数字、下划线(_)、中划线(-),并且只能以英文字母开头,长度限制为64字符,一个Workflow里的两个step名称不能重复。

str

inputs

数据集导入节点的输入列表。

DatasetImportInput或者DatasetImportInput的列表

outputs

数据集导入节点的输出列表。

DatasetImportOutput或者DatasetImportOutput的列表

properties

数据集导入相关的配置信息。

ImportDataInfo

title

title信息,主要用于前端的名称展示。

str

description

数据集导入节点的描述信息。

str

policy

节点执行的policy。

StepPolicy

depend_steps

依赖的节点列表。

Step或者Step的列表

表2 DatasetImportInput

属性

描述

是否必填

数据类型

name

数据集导入节点的输入名称,命名规范:只能包含英文字母、数字、下划线(_)、中划线(-),并且只能以英文字母开头,长度限制为64字符。同一个Step的输入名称不能重复。

str

data

数据集导入节点的输入数据对象。

数据集、OBS或标注任务相关对象,当前仅支持Dataset,DatasetConsumption,DatasetPlaceholder,OBSPath,OBSConsumption,OBSPlaceholder,LabelTask,LabelTaskPlaceholder,LabelTaskConsumption,DataConsumptionSelector

表3 DatasetImportOutput

属性

描述

是否必填

数据类型

name

数据集导入节点的输出名称,命名规范(只能包含英文字母、数字、下划线(_)、中划线(-),并且只能以英文字母开头,长度限制为64字符)。同一个Step的输出名称不能重复。

str

表4 ImportDataInfo

属性

描述

是否必填

数据类型

annotation_format_config

导入的标注格式的配置参数。

AnnotationFormatConfig

excluded_labels

不导入包含指定标签的样本。

Label的列表

import_annotated

用于导入智能标注结果的任务,是否导入原数据集中已标注的样本到待确认,默认值为"false"即不导入原数据集中已标注的样本到待确认。可选值如下:

  • true:导入原数据集中已标注的样本到待确认
  • false:不导入原数据集中已标注的样本到待确认

bool

import_annotations

是否导入标签。可选值如下:

  • true:导入标签(默认值)
  • false:不导入标签

bool

import_samples

是否导入样本。可选值如下:

  • true:导入样本(默认值)
  • false:不导入样本

bool

import_type

导入方式。可选值如下:

  • dir:目录导入
  • manifest:按manifest文件导入

ImportTypeEnum

included_labels

导入包含指定标签的样本。

Label的列表

label_format

标签格式,此参数仅文本类数据集使用。

LabelFormat

表5 AnnotationFormatConfig

属性

描述

是否必填

数据类型

format_name

标注格式的名称。

AnnotationFormatEnum

parameters

标注格式的高级参数。

AnnotationFormatParameters

scene

标注场景,可选参数。

LabelTaskTypeEnum

表6 AnnotationFormatParameters

属性

描述

是否必填

数据类型

difficult_only

是否只导入难例。可选值如下:

  • true:只导入难例样本
  • false:导入全部样本(默认值)

bool

included_labels

导入包含指定标签的样本。

Label的列表

label_separator

标签与标签之间的分隔符,默认为逗号分隔,分隔符需转义。分隔符仅支持一个字符,必须为大小写字母,数字和“!@#$%^&*_=|?/':.;,”其中的某一字符。

str

sample_label_separator

文本与标签之间的分隔符,默认为Tab键分隔,分隔符需转义。分隔符仅支持一个字符,必须为大小写字母,数字和“!@#$%^&*_=|?/':.;,”其中的某一字符。

str