随机集群创建作业并执行
功能介绍
随机集群创建作业并执行接口。
URI
POST /v1.1/{project_id}/clusters/job
|
参数 |
是否必选 |
参数类型 |
描述 |
|---|---|---|---|
|
project_id |
是 |
String |
项目ID |
请求参数
|
参数 |
是否必选 |
参数类型 |
描述 |
|---|---|---|---|
|
X-Auth-Token |
是 |
String |
用户Token。 通过调用IAM服务获取用户Token接口获取（响应消息头中X-Subject-Token的值）。 |
|
X-Language |
是 |
String |
请求语言。 |
|
参数 |
是否必选 |
参数类型 |
描述 |
|---|---|---|---|
|
jobs |
是 |
Array of Job objects |
作业列表，请参见jobs数据结构说明。 |
|
clusters |
是 |
Array of strings |
CDM集群ID列表，系统会从里面随机选择一个开机状态的集群，在该集群中创建作业并执行作业。 |
|
参数 |
是否必选 |
参数类型 |
描述 |
|---|---|---|---|
|
job_type |
否 |
String |
作业类型：
枚举值：
|
|
from-connector-name |
是 |
String |
源端连接类型 |
|
to-config-values |
是 |
ConfigValues object |
目的连接参数配置。 |
|
to-link-name |
是 |
String |
目的端连接名称 |
|
driver-config-values |
是 |
ConfigValues object |
作业任务参数配置。 |
|
from-config-values |
是 |
ConfigValues object |
源连接参数配置。 |
|
to-connector-name |
否 |
String |
目的端连接类型 |
|
name |
否 |
String |
作业名称，长度在1到240个字符之间 最小长度：1 最大长度：240 |
|
from-link-name |
否 |
String |
源连接名称 |
|
creation-user |
否 |
String |
创建的用户。 |
|
creation-date |
否 |
Long |
作业创建的时间，单位：毫秒。 |
|
update-date |
否 |
Long |
作业最后更新的时间，单位：毫秒。 |
|
is_incre_job |
否 |
Boolean |
是否增量 |
|
flag |
否 |
Integer |
标记 |
|
files_read |
否 |
Integer |
已读文件数 |
|
update-user |
否 |
String |
作业最后更新的用户。 |
|
external_id |
否 |
String |
外部ID。 |
|
type |
否 |
String |
作业类型 |
|
execute_start_date |
否 |
Long |
执行_开始_日期。 |
|
delete_rows |
否 |
Integer |
删除行数 |
|
enabled |
否 |
Boolean |
是否激活连接 |
|
bytes_written |
否 |
Long |
写入字节 |
|
id |
否 |
Integer |
作业ID |
|
is_use_sql |
否 |
Boolean |
用户是否使用sql |
|
update_rows |
否 |
Integer |
更新行数 |
|
group_name |
否 |
String |
组_名称 |
|
bytes_read |
否 |
Long |
读取字节 |
|
execute_update_date |
否 |
Long |
执行_更新_日期。 |
|
write_rows |
否 |
Integer |
写入数据行数 |
|
rows_written |
否 |
Integer |
写入行数 |
|
rows_read |
否 |
Long |
读取的行数 |
|
files_written |
否 |
Integer |
写入文件数 |
|
is_incrementing |
否 |
Boolean |
是否增量 |
|
execute_create_date |
否 |
Long |
执行_创建_日期 |
|
status |
否 |
String |
作业最后的执行状态：
|
|
参数 |
是否必选 |
参数类型 |
描述 |
|---|---|---|---|
|
configs |
否 |
Array of configs objects |
源连接参数、目的连接参数和作业任务参数，它们的配置数据结构相同，其中“inputs”里的参数不一样，详细请参见configs数据结构说明 |
|
参数 |
是否必选 |
参数类型 |
描述 |
|---|---|---|---|
|
inputs |
是 |
Array of Input objects |
输入参数列表，列表中的每个参数为“name,value”结构，请参考inputs数据结构参数说明。在“from-config-values”数据结构中，不同的源连接类型有不同的“inputs”参数列表，请参见源端作业参数说明下的章节。在“to-cofig-values”数据结构中，不同的目的连接类型有不同的“inputs”参数列表，请参见目的端作业参数说明下面的子章节。在“driver-config-values”数据结构中，“inputs”具体参数请参见作业任务参数说明。 |
|
name |
是 |
String |
配置名称：源端作业的配置名称为“fromJobConfig”。目的端作业的配置名称为“toJobConfig”,连接的配置名称固定为“linkConfig”。 |
|
id |
是 |
Integer |
配置ID |
|
type |
是 |
String |
配置类型 |
响应参数
状态码： 200
|
参数 |
参数类型 |
描述 |
|---|---|---|
|
submissions |
Array of StartJobSubmission objects |
作业运行信息，请参见submission参数说明 |
|
参数 |
参数类型 |
描述 |
|---|---|---|
|
isIncrementing |
Boolean |
作业是否为增量迁移 |
|
delete_rows |
Integer |
删除数据行数 |
|
update_rows |
Integer |
更新数据行数 |
|
write_rows |
Integer |
写入数据行数 |
|
submission-id |
Integer |
作业提交id |
|
job-name |
String |
作业名称 |
|
creation-user |
String |
创建用户 |
|
creation-date |
Long |
创建时间，单位：毫秒。 |
|
execute-date |
Long |
执行时间 |
|
progress |
Float |
作业进度，失败时为“-1”，其它情况为0～100 |
|
status |
String |
作业状态：
|
|
isStopingIncrement |
String |
是否停止增量迁移 |
|
is-execute-auto |
Boolean |
是否定时执行作业 |
|
last-update-date |
Long |
作业最后更新时间 |
|
last-udpate-user |
String |
最后更新作业状态的用户 |
|
isDeleteJob |
Boolean |
作业执行完成后是否删除 |
请求示例
POST /v1.1/1551c7f6c808414d8e9f3c514a170f2e/clusters/job
{
"jobs" : [ {
"job_type" : "NORMAL_JOB",
"from-connector-name" : "elasticsearch-connector",
"to-config-values" : {
"configs" : [ {
"inputs" : [ {
"name" : "toJobConfig.streamName",
"value" : "dis-lkGm"
}, {
"name" : "toJobConfig.separator",
"value" : "|"
}, {
"name" : "toJobConfig.columnList",
"value" : "1&2&3"
} ],
"name" : "toJobConfig"
} ]
},
"to-link-name" : "dis",
"driver-config-values" : {
"configs" : [ {
"inputs" : [ {
"name" : "throttlingConfig.numExtractors",
"value" : "1"
}, {
"name" : "throttlingConfig.submitToCluster",
"value" : "false"
}, {
"name" : "throttlingConfig.numLoaders",
"value" : "1"
}, {
"name" : "throttlingConfig.recordDirtyData",
"value" : "false"
} ],
"name" : "throttlingConfig"
}, {
"inputs" : { },
"name" : "jarConfig"
}, {
"inputs" : [ {
"name" : "schedulerConfig.isSchedulerJob",
"value" : "false"
}, {
"name" : "schedulerConfig.disposableType",
"value" : "NONE"
} ],
"name" : "schedulerConfig"
}, {
"inputs" : { },
"name" : "transformConfig"
}, {
"inputs" : [ {
"name" : "retryJobConfig.retryJobType",
"value" : "NONE"
} ],
"name" : "retryJobConfig"
} ]
},
"from-config-values" : {
"configs" : [ {
"inputs" : [ {
"name" : "fromJobConfig.index",
"value" : "52est"
}, {
"name" : "fromJobConfig.type",
"value" : "est_array"
}, {
"name" : "fromJobConfig.columnList",
"value" : "array_f1_int:long&array_f2_text:string&array_f3_object:nested"
}, {
"name" : "fromJobConfig.splitNestedField",
"value" : "false"
} ],
"name" : "fromJobConfig"
} ]
},
"to-connector-name" : "dis-connector",
"name" : "es_css",
"from-link-name" : "css"
} ],
"clusters" : [ "b0791496-e111-4e75-b7ca-9277aeab9297", "c2db1191-eb6c-464a-a0d3-b434e6c6df26", "c2db1191-eb6c-464a-a0d3-b434e6c6df26" ]
}
响应示例
状态码： 200
ok
{
"submissions" : [ {
"isIncrementing" : false,
"job-name" : "obs2obs-03",
"submisson-id" : 13,
"isStopingIncrement" : "",
"last-update-date" : 1635909057030,
"is-execute-auto" : false,
"delete_rows" : 0,
"write_rows" : 0,
"last-update-user" : "mwx5316849",
"isDeleteJob" : false,
"creation-user" : "mwx5316849",
"progress" : 0,
"creation-date" : 1635909057030,
"update_rows" : 0,
"status" : "PENDING"
} ]
}
状态码
|
状态码 |
描述 |
|---|---|
|
200 |
ok |
错误码
请参见错误码。
