文档首页/ 数据治理中心 DataArts Studio/ 更多文档/ API参考 (联盟区域) / 数据集成API/ 作业管理/ 随机集群创建作业并执行
更新时间：2026-01-30 GMT+08:00
在线调试
CLI示例
查看PDF
分享

随机集群创建作业并执行

功能介绍

随机集群创建作业并执行接口。

调用方法

请参见如何调用API。

URI

POST /v1.1/{project_id}/clusters/job

表1 路径参数

参数

是否必选

参数类型

描述

project_id

是

String

项目ID，获取方法请参见项目ID和账号ID。

请求参数

表2 请求Header参数

参数

是否必选

参数类型

描述

X-Auth-Token

是

String

用户Token。

通过调用IAM服务获取用户Token接口获取（响应消息头中X-Subject-Token的值）。

X-Language

是

String

请求语言。
表3 请求Body参数

参数

是否必选

参数类型

描述

jobs

是

Array of Job objects

作业列表，请参见jobs数据结构说明。

clusters

是

Array of strings

CDM集群ID列表，系统会从里面随机选择一个开机状态的集群，在该集群中创建作业并执行作业。
表4 Job

参数

是否必选

参数类型

描述

job_type

是

String

作业类型：

  • NORMAL_JOB：表/文件迁移。

  • BATCH_JOB：整库迁移。

from-connector-name

是

String

源端连接类型，对应的连接参数如下：

  • generic-jdbc-connector：关系数据库连接。

  • obs-connector：OBS连接。

  • hdfs-connector：HDFS连接。

  • hbase-connector：HBase连接、CloudTable连接。

  • hive-connector：Hive连接。

  • ftp-connector/sftp-connector：FTP/SFTP连接。

  • mongodb-connector：MongoDB连接。

  • redis-connector：Redis/DCS连接。

  • kafka-connector：Kafka连接。

  • dis-connector：DIS连接。

  • elasticsearch-connector：Elasticsearch/云搜索服务连接。

  • dli-connector：DLI连接。

  • http-connector：HTTP/HTTPS连接，该连接暂无连接参数。

  • dms-kafka-connector：DMSKafka连接。

to-config-values

是

ConfigValues object

目的连接参数配置。根据不同目的端有不同的参数配置，具体可参考目的端作业参数说明下相应的目的端参数配置。

to-link-name

是

String

目的端连接名称，即为通过“创建连接”接口创建的连接对应的连接名。

driver-config-values

是

ConfigValues object

作业任务参数配置。例如配置作业失败重试、抽取并发数，具体可参考作业任务参数说明。

from-config-values

是

ConfigValues object

源连接参数配置。根据不同源端有不同的参数配置，具体可参考源端作业参数说明下相应的源端参数配置。

to-connector-name

是

String

目的端连接类型，对应的连接参数如下：

  • generic-jdbc-connector：关系数据库连接。

  • obs-connector：OBS连接。

  • hdfs-connector：HDFS连接。

  • hbase-connector：HBase连接、CloudTable连接。

  • hive-connector：Hive连接。

  • ftp-connector/sftp-connector：FTP/SFTP连接。

  • mongodb-connector：MongoDB连接。

  • redis-connector：Redis/DCS连接。

  • kafka-connector：Kafka连接。

  • dis-connector：DIS连接。

  • elasticsearch-connector：Elasticsearch/云搜索服务连接。

  • dli-connector：DLI连接。

  • http-connector：HTTP/HTTPS连接，该连接暂无连接参数。

  • dms-kafka-connector：DMSKafka连接。

name

是

String

作业名称，长度在1到240个字符之间。

from-link-name

是

String

源连接名称，即为通过“创建连接”接口创建的连接对应的连接名。

creation-user

否

String

创建作业的用户。由系统生成，用户无需填写。

creation-date

否

Long

作业创建的时间，单位：毫秒。由系统生成，用户无需填写。

update-date

否

Long

作业最后更新的时间，单位：毫秒。由系统生成，用户无需填写。

is_incre_job

否

Boolean

是否是增量作业。已废弃。

flag

否

Integer

是否是定时作业标记，如果是定时作业则为1，否则为0。由系统根据定时任务配置生成，用户无需填写。

files_read

否

Integer

已读文件数。由系统生成，用户无需填写。

update-user

否

String

最后更新作业的用户。由系统生成，用户无需填写。

external_id

否

String

具体执行的作业id，如果是本地作业，则一般为"job_local1202051771_0002"形式，如果是DLI作业，则为DLI作业ID，比如"12345"。由系统生成，用户无需填写。

type

否

String

与job_type一致，作业类型：

  • NORMAL_JOB：表/文件迁移。

  • BATCH_JOB：整库迁移。

execute_start_date

否

Long

最近一次执行任务开始时间，单位：毫秒。由系统生成，用户无需填写。

delete_rows

否

Integer

增量作业删除行数，已废弃。

enabled

否

Boolean

是否激活连接。由系统生成，用户无需填写。

bytes_written

否

Long

作业写入的字节。由系统生成，用户无需填写。

id

否

Integer

作业ID。由系统生成，用户无需填写。

is_use_sql

否

Boolean

用户是否使用sql。由系统根据源端抽取是否使用sql语句生成，用户无需填写。

update_rows

否

Integer

增量作业更新行数，已废弃。

group_name

否

String

组名。

bytes_read

否

Long

作业读取的字节。由系统生成，用户无需填写。

execute_update_date

否

Long

最近一次执行任务更新时间，单位：毫秒。由系统生成，用户无需填写。

write_rows

否

Integer

增量作业写入行数，已废弃。

rows_written

否

Integer

作业写入的行数。由系统生成，用户无需填写。

rows_read

否

Long

作业读取的行数。由系统生成，用户无需填写。

files_written

否

Integer

写入文件数。由系统生成，用户无需填写。

is_incrementing

否

Boolean

是否是增量作业，同is_incre_job，已废弃。

execute_create_date

否

Long

最近一次执行任务创建时间，单位：毫秒。由系统生成，用户无需填写。

status

否

String

作业最后的执行状态：

  • BOOTING：启动中。

  • RUNNING：运行中。

  • SUCCEEDED：成功。

  • FAILED：失败。

  • NEW：未被执行。
表5 ConfigValues

参数

是否必选

参数类型

描述

configs

是

Array of configs objects

源连接参数、目的连接参数和作业任务参数，它们的配置数据结构相同，其中“inputs”里的参数不一样，详细请参见configs数据结构说明。

extended-configs

否

extended-configs object

扩展配置，请参见extended-configs参数说明。扩展配置暂不对外开放，用户无需填写。
表6 configs

参数

是否必选

参数类型

描述

inputs

是

Array of Input objects

输入参数列表，列表中的每个参数为“name,value”结构，请参考inputs数据结构参数说明。在“from-config-values”数据结构中，不同的源连接类型有不同的“inputs”参数列表，请参见源端作业参数说明下的章节。在“to-config-values”数据结构中，不同的目的连接类型有不同的“inputs”参数列表，请参见目的端作业参数说明下面的子章节。在“driver-config-values”数据结构中，“inputs”具体参数请参见作业任务参数说明。

name

是

String

配置名称：源端作业的配置名称为“fromJobConfig”。目的端作业的配置名称为“toJobConfig”，连接的配置名称固定为“linkConfig”。

id

否

Integer

配置ID，由系统生成，用户无需填写。

type

否

String

配置类型，由系统生成，用户无需填写。值为LINK或者JOB，如果是连接管理API，则为LINK；如果是作业管理API，则为JOB。
表7 Input

参数

是否必选

参数类型

描述

name

是

String

参数名:

  • 如果是连接管理API，则以“linkConfig.”开头，对于不同连接类型有不同的参数，具体可参见连接参数说明下相应连接的参数说明。

  • 如果是作业管理API，对于源端连接参数，则以“fromJobConfig.”开头，具体可参见源端作业参数说明下相应的源端参数说明；对于目的端连接参数，则以“toJobConfig.”开头，具体可参见目的端作业参数说明下相应的目的端参数说明；对于作业任务参数，请参见作业任务参数说明下相应的任务参数说明。

value

是

Object

参数值，参数名对应的值，必须填写为字符串。

type

否

String

值类型，如STRING、INTEGER，由系统设定，用户无需填写。
表8 extended-configs

参数

是否必选

参数类型

描述

name

否

String

扩展配置名称，暂不对外开放，用户无需填写。

value

否

String

扩展配置值，暂不对外开放，用户无需填写。

响应参数

状态码：200

表9 响应Body参数

参数

参数类型

描述

submissions

Array of StartJobSubmission objects

作业运行信息，请参见submission参数说明。
表10 StartJobSubmission

参数

参数类型

描述

isIncrementing

Boolean

作业是否为增量迁移。

delete_rows

Integer

删除数据行数。

update_rows

Integer

更新数据行数。

write_rows

Integer

写入数据行数。

submission-id

Integer

作业提交id。

job-name

String

作业名称。

creation-user

String

创建用户。

creation-date

Long

创建时间，单位：毫秒。

execute-date

Long

执行时间。

progress

Float

作业进度，失败时为“-1”，其它情况为0～100。

status

String

作业状态：

  • BOOTING：启动中。

  • FAILURE_ON_SUBMIT：提交失败。

  • RUNNING：运行中。

  • SUCCEEDED：成功。

  • FAILED：失败。

  • UNKNOWN：未知。

  • NEVER_EXECUTED：未被执行。

isStopingIncrement

String

是否停止增量迁移。

is-execute-auto

Boolean

是否定时执行作业。

last-update-date

Long

作业最后更新时间。

last-update-user

String

最后更新作业状态的用户。

isDeleteJob

Boolean

作业执行完成后是否删除。

请求示例

在CDM集群ID列表中随机选择一个集群，创建一个源端为elasticsearch，目的端为DIS，作业名为es_css的表迁移作业。

POST /v1.1/1551c7f6c808414d8e9f3c514a170f2e/clusters/job

{
  "jobs" : [ {
    "job_type" : "NORMAL_JOB",
    "from-connector-name" : "elasticsearch-connector",
    "to-config-values" : {
      "configs" : [ {
        "inputs" : [ {
          "name" : "toJobConfig.streamName",
          "value" : "dis-lkGm"
        }, {
          "name" : "toJobConfig.separator",
          "value" : "|"
        }, {
          "name" : "toJobConfig.columnList",
          "value" : "1&2&3"
        } ],
        "name" : "toJobConfig"
      } ]
    },
    "to-link-name" : "dis",
    "driver-config-values" : {
      "configs" : [ {
        "inputs" : [ {
          "name" : "throttlingConfig.numExtractors",
          "value" : "1"
        }, {
          "name" : "throttlingConfig.submitToCluster",
          "value" : "false"
        }, {
          "name" : "throttlingConfig.numLoaders",
          "value" : "1"
        }, {
          "name" : "throttlingConfig.recordDirtyData",
          "value" : "false"
        } ],
        "name" : "throttlingConfig"
      }, {
        "inputs" : [ ],
        "name" : "jarConfig"
      }, {
        "inputs" : [ {
          "name" : "schedulerConfig.isSchedulerJob",
          "value" : "false"
        }, {
          "name" : "schedulerConfig.disposableType",
          "value" : "NONE"
        } ],
        "name" : "schedulerConfig"
      }, {
        "inputs" : [ ],
        "name" : "transformConfig"
      }, {
        "inputs" : [ {
          "name" : "retryJobConfig.retryJobType",
          "value" : "NONE"
        } ],
        "name" : "retryJobConfig"
      } ]
    },
    "from-config-values" : {
      "configs" : [ {
        "inputs" : [ {
          "name" : "fromJobConfig.index",
          "value" : "52est"
        }, {
          "name" : "fromJobConfig.type",
          "value" : "est_array"
        }, {
          "name" : "fromJobConfig.columnList",
          "value" : "array_f1_int:long&array_f2_text:string&array_f3_object:nested"
        }, {
          "name" : "fromJobConfig.splitNestedField",
          "value" : "false"
        } ],
        "name" : "fromJobConfig"
      } ]
    },
    "to-connector-name" : "dis-connector",
    "name" : "es_css",
    "from-link-name" : "css"
  } ],
  "clusters" : [ "b0791496-e111-4e75-b7ca-9277aeab9297", "c2db1191-eb6c-464a-a0d3-b434e6c6df26", "c2db1191-eb6c-464a-a0d3-b434e6c6df26" ]
}

响应示例

状态码：200

OK。

{
  "submissions" : [ {
    "isIncrementing" : false,
    "job-name" : "obs2obs-03",
    "submission-id" : 13,
    "isStopingIncrement" : "",
    "last-update-date" : 1635909057030,
    "is-execute-auto" : false,
    "delete_rows" : 0,
    "write_rows" : 0,
    "isDeleteJob" : false,
    "creation-user" : "cdmUser",
    "progress" : 0,
    "creation-date" : 1635909057030,
    "update_rows" : 0,
    "status" : "PENDING",
    "execute-date" : 1635909057030
  } ]
}

状态码

状态码

描述

200

OK。

错误码

请参见错误码。

父主题： 作业管理