文档首页/ AI开发平台ModelArts/ API参考/ 历史API/ 数据管理（旧版）/ 查询处理任务列表
更新时间：2024-05-30 GMT+08:00
查看PDF
分享

查询处理任务列表

功能介绍

查询处理任务列表，包括“特征分析”任务和“数据处理”两大类任务。可通过指定“task_type”参数来单独查询某类任务的列表。

  • “特征分析”是指基于图片或目标框对图片的各项特征，如模糊度、亮度进行分析，并绘制可视化曲线，帮助处理数据集。

  • “数据处理”是指从大量的、杂乱无章的、难以理解的数据中抽取或者生成对某些特定的人们来说是有价值、有意义的数据。“数据处理”又分为“数据校验”、“数据清洗”、“数据选择”和“数据增强”四类。

    • “数据校验”表示对数据集进行校验，保证数据合法。

    • “数据清洗”表示对数据进行去噪、纠错或补全的过程。

    • “数据选择”表示从全量数据中选择数据子集的过程。

    • “数据增强”表示通过简单的数据扩增例如缩放、裁剪、变换、合成等操作直接或间接的方式增加数据量。

调试

您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。

URI

GET /v2/{project_id}/processor-tasks

表1 路径参数

参数

是否必选

参数类型

描述

project_id

是

String

用户项目ID。获取方法请参见获取项目ID和名称。
表2 Query参数

参数

是否必选

参数类型

描述

limit

否

Integer

指定每一页返回的最大条目数，取值范围[1,100]，默认为10。

offset

否

Integer

分页列表的起始页，默认为0。

order

否

String

指定查询的排序顺序。可选值如下：

  • asc：递增排序

  • desc：递减排序（默认值）

query_current

否

Boolean

是否只查询数据集版本最新的任务。可选值如下：

  • true：只查询数据集版本最新的任务

  • false：查询数据集版本的所有任务（默认值）

return_result

否

Boolean

是否返回任务结果。可选值如下：

  • true：返回任务结果（默认值）

  • false：不返回任务结果

sort_by

否

String

指定查询的排序方式。可选值如下：

  • create_time：按创建时间排序（默认值）

  • name：按任务名称排序

  • duration_seconds：按运行时间排序

source

否

String

指定查询的数据源所在路径。可选值如下：

  • 如果type是OBS，source为OBS路径；

  • 如果type是TASK，source为任务ID；

  • 如果type是DATASET，source为dataset_id；

  • 如果type是CUSTOM且是资源租户调用，source为真实用户的project_id, 否则不需要这个字段

source_type

否

String

指定查询的数据源类型，不传默认是查询所有的数据源。可选值如下：

  • OBS：数据来源于OBS

  • TASK：数据处理任务

  • DATASET：数据集

  • CUSTOM：资源租户调用

status

否

Integer

指定查询的任务状态，不传则默认是查询所有状态的任务。可选值如下：

  • 0：初始化

  • 1：运行中

  • 2：已完成

  • 3：失败

  • 4：停止

task_name

否

String

模糊匹配名称。

task_type

否

String

任务类型，即数据处理模板ID。可选值如下：

  • sys_data_analyse：特征分析

  • sys_data_cleaning：数据清洗

  • sys_data_augmentation：数据增强

  • sys_data_validation：数据校验

  • sys_data_selection：数据筛选

version_id

否

Array

指定查询数据集的版本ID列表。

workspace_id

否

String

工作空间ID。未创建工作空间时默认值为“0”，存在创建并使用的工作空间，以实际取值为准。

请求参数

无

响应参数

状态码： 200

表3 响应Body参数

参数

参数类型

描述

count

Integer

数据处理任务总数。

tasks

Array of DescribeProcessorTaskResp objects

分页查询到的数据处理任务列表。
表4 DescribeProcessorTaskResp

参数

参数类型

描述

create_time

Long

数据处理的创建时间。

data_source

ProcessorDataSource object

数据处理任务的输入，与inputs二选一。

description

String

数据处理任务描述。

duration_seconds

Integer

数据处理的运行时间，单位秒。

error_msg

String

错误信息，status是3时，会出现该字段。

inputs

Array of ProcessorDataSource objects

数据处理任务的输入通道列表，与data_source二选一。

is_current

Boolean

当前任务是否是该版本的同类型任务中的最新任务。

name

String

数据处理任务名称。

result

Object

数据处理任务输出的结果，status为2时会出现该字段，用于特征分析任务。

status

Integer

数据处理的状态。可选值如下：

  • 0：初始化

  • 1：运行中

  • 2：已完成

  • 3：失败

  • 4：停止

task_id

String

数据处理任务ID。

template

TemplateParam object

数据处理模板，如算法ID和参数等。

version_count

Integer

数据处理任务的版本数量。

version_id

String

数据处理任务对应的数据集版本ID。

version_name

String

数据处理任务对应的数据集版本名称。

work_path

WorkPath object

数据处理任务的工作目录。

workspace_id

String

数据处理任务的工作空间ID。未创建工作空间时默认值为“0”，存在创建并使用的工作空间，以实际取值为准。
表5 ProcessorDataSource

参数

参数类型

描述

name

String

数据集的名称。

source

String

数据源所在路径。可选值如下：

  • 如果type是OBS，source为OBS路径。

  • 如果type是TASK，source为任务ID。

  • 如果type是DATASET，source为数据集ID。

  • 如果type是CUSTOM且是资源租户调用，source为真实用户的project_id, 否则不需要这个字段。

type

String

数据源类型。可选值如下：

  • OBS：数据来源于OBS

  • TASK：数据处理任务

  • DATASET：数据集

  • CUSTOM：资源租户调用

version_id

String

数据集的版本。

version_name

String

数据集的版本名称。
表6 TemplateParam

参数

参数类型

描述

id

String

任务类型，即数据处理模板ID。可选值如下：

  • sys_data_analyse：特征分析

  • sys_data_cleaning：数据清洗

  • sys_data_augmentation：数据增强

  • sys_data_validation：数据校验

  • sys_data_selection：数据筛选

name

String

模板名称。

operator_params

Array of OperatorParam objects

算子的参数列表。
表7 OperatorParam

参数

参数类型

描述

advanced_params_switch

Boolean

高级参数开关。

id

String

算子ID。

name

String

算子名称。

params

Object

算子参数，参数类型是map<string,object>，object目前只支持Boolean、Integer、Long、String、List[/topic/body/section/table/tgroup/tbody/row/entry/p/br {""}) (br]、Map<String,String>类型。对于数据预处理任务比较特殊的两个场景物体检测和图像分类，键“task_type”对应的值为“object_detection”或“image_classification”。
表8 WorkPath

参数

参数类型

描述

name

String

数据集的名称。

output_path

String

输出路径，例如/datasets/demo。

path

String

工作路径。可选值如下：

  • 如果type是OBS，source为OBS路径。

  • 如果type是DATASET，source为数据集ID。

type

String

工作路径的类型。可选值如下：

  • OBS：OBS路径

  • DATASET：数据集

version_id

String

数据集的版本。

version_name

String

数据集的版本名称，名称仅包含数字、字母、中划线和下划线，长度是0-32位。

请求示例

  • 查询某个数据集的特征分析任务历史列表

    GET https://{endpoint}/v2/{project_id}/processor-tasks?offset=0&limit=10&sort_by=create_time&order=desc&source_type=DATASET&source=X6c3N3eztX7cr3Arvqu&task_type=sys_data_analyse&return_result=false&query_current=false

  • 查询某个数据集指定版本列表的最新特征分析任务结果

    GET https://{endpoint}/v2/{project_id}/processor-tasks?offset=0&limit=100&source_type=DATASET&source=X6c3N3eztX7cr3Arvqu&version_id=XwTuRqI9En7xuZskW70%2CJ4Eh2FDEWH1qnDlD3hQ&task_type=sys_data_analyse&return_result=true&query_current=true

响应示例

状态码： 200

OK

{
  "count" : 1,
  "tasks" : [ {
    "task_id" : "ddwRJeTnjpiq4dNUZOq",
    "name" : "V001",
    "data_source" : {
      "type" : "DATASET",
      "source" : "X6c3N3eztX7cr3Arvqu"
    },
    "inputs" : [ {
      "type" : "DATASET",
      "source" : "X6c3N3eztX7cr3Arvqu"
    } ],
    "template" : {
      "id" : "sys_data_analyse",
      "name" : "data analyse template name",
      "operator_params" : [ {
        "id" : "sys_data_analyse",
        "params" : {
          "op_list" : [ ],
          "task_type" : "image_classification",
          "manifest_path" : "s3://test-obs/classify/output/dataset-3026-X6c3N3eztX7cr3Arvqu/annotation/V001/V001.manifest",
          "file_path" : "s3://test-obs/classify/output/dataset-3026-X6c3N3eztX7cr3Arvqu/annotation/evaluation/V001",
          "is_normed" : false
        }
      } ]
    },
    "status" : 2,
    "duration_seconds" : 11,
    "create_time" : 1606372570023,
    "version_id" : "J4Eh2FDEWH1qnDlD3hQ",
    "version_name" : "V001",
    "is_current" : true
  } ]
}

状态码

状态码

描述

200

OK

401

Unauthorized

403

Forbidden

404

Not Found

错误码

请参见错误码。

相关文档