文档首页/ 数据治理中心 DataArts Studio/ 更多文档/ API参考（吉隆坡区域）/ 数据集成API/ 作业管理/ 随机集群创建作业并执行
更新时间：2023-06-15 GMT+08:00
查看PDF
分享

随机集群创建作业并执行

功能介绍

随机集群创建作业并执行接口。

URI

POST /v1.1/{project_id}/clusters/job

表1 路径参数

参数

是否必选

参数类型

描述

project_id

是

String

项目ID

请求参数

表2 请求Header参数

参数

是否必选

参数类型

描述

X-Auth-Token

是

String

用户Token。

通过调用IAM服务获取用户Token接口获取（响应消息头中X-Subject-Token的值）。

X-Language

是

String

请求语言。
表3 请求Body参数

参数

是否必选

参数类型

描述

jobs

是

Array of Job objects

作业列表，请参见jobs数据结构说明。

clusters

是

Array of strings

CDM集群ID列表，系统会从里面随机选择一个开机状态的集群，在该集群中创建作业并执行作业。
表4 Job

参数

是否必选

参数类型

描述

job_type

否

String

作业类型：

  • NORMAL_JOB：表/文件迁移。

  • BATCH_JOB：整库迁移。

  • SCENARIO_JOB：场景迁移。

枚举值：

  • NORMAL_JOB

  • BATCH_JOB

  • SCENARIO_JOB

from-connector-name

是

String

源端连接类型

to-config-values

是

ConfigValues object

目的连接参数配置。

to-link-name

是

String

目的端连接名称

driver-config-values

是

ConfigValues object

作业任务参数配置。

from-config-values

是

ConfigValues object

源连接参数配置。

to-connector-name

否

String

目的端连接类型

name

否

String

作业名称，长度在1到240个字符之间

最小长度：1

最大长度：240

from-link-name

否

String

源连接名称

creation-user

否

String

创建的用户。

creation-date

否

Long

作业创建的时间，单位：毫秒。

update-date

否

Long

作业最后更新的时间，单位：毫秒。

is_incre_job

否

Boolean

是否增量

flag

否

Integer

标记

files_read

否

Integer

已读文件数

update-user

否

String

作业最后更新的用户。

external_id

否

String

外部ID。

type

否

String

作业类型

execute_start_date

否

Long

执行_开始_日期。

delete_rows

否

Integer

删除行数

enabled

否

Boolean

是否激活连接

bytes_written

否

Long

写入字节

id

否

Integer

作业ID

is_use_sql

否

Boolean

用户是否使用sql

update_rows

否

Integer

更新行数

group_name

否

String

组_名称

bytes_read

否

Long

读取字节

execute_update_date

否

Long

执行_更新_日期。

write_rows

否

Integer

写入数据行数

rows_written

否

Integer

写入行数

rows_read

否

Long

读取的行数

files_written

否

Integer

写入文件数

is_incrementing

否

Boolean

是否增量

execute_create_date

否

Long

执行_创建_日期

status

否

String

作业最后的执行状态：

  • BOOTING：启动中。

  • RUNNING：运行中。

  • SUCCEEDED：成功。

  • FAILED：失败。

  • NEW：未被执行。
表5 ConfigValues

参数

是否必选

参数类型

描述

configs

否

Array of configs objects

源连接参数、目的连接参数和作业任务参数，它们的配置数据结构相同，其中“inputs”里的参数不一样，详细请参见configs数据结构说明
表6 configs

参数

是否必选

参数类型

描述

inputs

是

Array of Input objects

输入参数列表，列表中的每个参数为“name,value”结构，请参考inputs数据结构参数说明。在“from-config-values”数据结构中，不同的源连接类型有不同的“inputs”参数列表，请参见源端作业参数说明下的章节。在“to-cofig-values”数据结构中，不同的目的连接类型有不同的“inputs”参数列表，请参见目的端作业参数说明下面的子章节。在“driver-config-values”数据结构中，“inputs”具体参数请参见作业任务参数说明。

name

是

String

配置名称：源端作业的配置名称为“fromJobConfig”。目的端作业的配置名称为“toJobConfig”,连接的配置名称固定为“linkConfig”。

id

是

Integer

配置ID

type

是

String

配置类型
表7 Input

参数

是否必选

参数类型

描述

name

是

String

参数名

values

是

String

参数值

type

否

String

值类型

响应参数

状态码： 200

表8 响应Body参数

参数

参数类型

描述

submissions

Array of StartJobSubmission objects

作业运行信息，请参见submission参数说明
表9 StartJobSubmission

参数

参数类型

描述

isIncrementing

Boolean

作业是否为增量迁移

delete_rows

Integer

删除数据行数

update_rows

Integer

更新数据行数

write_rows

Integer

写入数据行数

submission-id

Integer

作业提交id

job-name

String

作业名称

creation-user

String

创建用户

creation-date

Long

创建时间，单位：毫秒。

execute-date

Long

执行时间

progress

Float

作业进度，失败时为“-1”，其它情况为0～100

status

String

作业状态：

  • BOOTING：启动中。

  • FAILURE_ON_SUBMIT：提交失败。

  • RUNNING：运行中。

  • SUCCEEDED：成功。

  • FAILED：失败。

  • UNKNOWN：未知。

  • NEVER_EXECUTED：未被执行

isStopingIncrement

String

是否停止增量迁移

is-execute-auto

Boolean

是否定时执行作业

last-update-date

Long

作业最后更新时间

last-udpate-user

String

最后更新作业状态的用户

isDeleteJob

Boolean

作业执行完成后是否删除

请求示例

POST /v1.1/1551c7f6c808414d8e9f3c514a170f2e/clusters/job

{
  "jobs" : [ {
    "job_type" : "NORMAL_JOB",
    "from-connector-name" : "elasticsearch-connector",
    "to-config-values" : {
      "configs" : [ {
        "inputs" : [ {
          "name" : "toJobConfig.streamName",
          "value" : "dis-lkGm"
        }, {
          "name" : "toJobConfig.separator",
          "value" : "|"
        }, {
          "name" : "toJobConfig.columnList",
          "value" : "1&2&3"
        } ],
        "name" : "toJobConfig"
      } ]
    },
    "to-link-name" : "dis",
    "driver-config-values" : {
      "configs" : [ {
        "inputs" : [ {
          "name" : "throttlingConfig.numExtractors",
          "value" : "1"
        }, {
          "name" : "throttlingConfig.submitToCluster",
          "value" : "false"
        }, {
          "name" : "throttlingConfig.numLoaders",
          "value" : "1"
        }, {
          "name" : "throttlingConfig.recordDirtyData",
          "value" : "false"
        } ],
        "name" : "throttlingConfig"
      }, {
        "inputs" : { },
        "name" : "jarConfig"
      }, {
        "inputs" : [ {
          "name" : "schedulerConfig.isSchedulerJob",
          "value" : "false"
        }, {
          "name" : "schedulerConfig.disposableType",
          "value" : "NONE"
        } ],
        "name" : "schedulerConfig"
      }, {
        "inputs" : { },
        "name" : "transformConfig"
      }, {
        "inputs" : [ {
          "name" : "retryJobConfig.retryJobType",
          "value" : "NONE"
        } ],
        "name" : "retryJobConfig"
      } ]
    },
    "from-config-values" : {
      "configs" : [ {
        "inputs" : [ {
          "name" : "fromJobConfig.index",
          "value" : "52est"
        }, {
          "name" : "fromJobConfig.type",
          "value" : "est_array"
        }, {
          "name" : "fromJobConfig.columnList",
          "value" : "array_f1_int:long&array_f2_text:string&array_f3_object:nested"
        }, {
          "name" : "fromJobConfig.splitNestedField",
          "value" : "false"
        } ],
        "name" : "fromJobConfig"
      } ]
    },
    "to-connector-name" : "dis-connector",
    "name" : "es_css",
    "from-link-name" : "css"
  } ],
  "clusters" : [ "b0791496-e111-4e75-b7ca-9277aeab9297", "c2db1191-eb6c-464a-a0d3-b434e6c6df26", "c2db1191-eb6c-464a-a0d3-b434e6c6df26" ]
}

响应示例

状态码： 200

ok

{
  "submissions" : [ {
    "isIncrementing" : false,
    "job-name" : "obs2obs-03",
    "submisson-id" : 13,
    "isStopingIncrement" : "",
    "last-update-date" : 1635909057030,
    "is-execute-auto" : false,
    "delete_rows" : 0,
    "write_rows" : 0,
    "last-update-user" : "mwx5316849",
    "isDeleteJob" : false,
    "creation-user" : "mwx5316849",
    "progress" : 0,
    "creation-date" : 1635909057030,
    "update_rows" : 0,
    "status" : "PENDING"
  } ]
}

状态码

状态码

描述

200

ok

错误码

请参见错误码。

父主题： 作业管理