新建SQL作业
功能介绍
该API用于创建Flink SQL作业。
URI
- URI格式
- 参数说明
表1 URI参数说明 参数名称
是否必选
参数类型
说明
project_id
是
String
项目编号，用于资源隔离。获取方式请参考获取项目ID。
请求消息
|
参数名称 |
是否必选 |
参数类型 |
说明 |
|---|---|---|---|
|
name |
是 |
String |
作业名称。长度限制：1-57个字符。 |
|
desc |
否 |
String |
作业描述。长度限制：0-512个字符。 |
|
template_id |
否 |
Integer |
模板ID。 如果“template_id”和“sql_body”都不为空，优先选择“sql_body”的内容；如果“template_id”不为空，“sql_body”为空，选择“template_id”的内容填充“sql_body”。 |
|
queue_name |
否 |
String |
队列名称。长度限制：0-128个字符。 |
|
sql_body |
否 |
String |
Stream SQL语句，至少包含source, query, sink三个部分。长度限制：1024*1024个字符。 |
|
run_mode |
否 |
String |
作业运行模式：
默认值为“shared_cluster”。 |
|
cu_number |
否 |
Integer |
用户为作业选择的CU数。默认值为“2”。 CU数量为DLI的计算单元数量和管理单元数量总和，CU也是DLI的计费单位，1CU=1核4G。当前配置的CU数量为运行作业时所需的CU数，不能超过其绑定队列的CU数量。管理单元参数设置详见：manager_cu_number。 |
|
parallel_number |
否 |
Integer |
用户设置的作业并行数目。默认值为“1”。 并行数是指同时运行Flink SQL作业的最大任务数。适度增加并行数会提高作业整体算力，但也须考虑线程增多带来的切换开销。最大并行数不能大于计算单元（CU数量-管理单元）的4倍。 管理单元参数设置详见：manager_cu_number。 |
|
checkpoint_enabled |
否 |
Boolean |
是否开启作业自动快照功能。
|
|
checkpoint_mode |
否 |
Integer |
快照模式,。两种可选：
默认值为1。 |
|
checkpoint_interval |
否 |
Integer |
快照时间间隔。单位为秒，默认值为“10”。 |
|
obs_bucket |
否 |
String |
当“checkpoint_enabled”为“true”时，该参数是用户授权保存快照的OBS路径。 当“log_enabled” 为“true”时，该参数是用户授权保存作业日志的OBS路径。 |
|
log_enabled |
否 |
Boolean |
是否开启作业的日志上传到用户的OBS功能。默认为“false”。 |
|
smn_topic |
否 |
String |
当作业异常时，向该SMN主题推送告警信息。 |
|
restart_when_exception |
否 |
Boolean |
是否开启作业异常自动重启。默认为“false”。 |
|
idle_state_retention |
否 |
Integer |
空闲状态保留时间。单位为小时，默认值为“1”。 |
|
job_type |
否 |
String |
作业类型：flink_sql_job。 |
|
dirty_data_strategy |
否 |
String |
作业脏数据策略。
默认值为“0”。 |
|
udf_jar_url |
否 |
String |
用户已上传到DLI资源管理系统的资源包名，用户sql作业的udf jar包通过该参数传入。 |
|
manager_cu_number |
否 |
Integer |
用户为作业选择的管理单元（jobmanager）CU数量，默认值为“1”。 |
|
tm_cus |
否 |
Integer |
每个taskmanager的CU数，默认值为“1”。 |
|
tm_slot_num |
否 |
Integer |
每个taskmanager的slot数，默认值为“(parallel_number*tm_cus)/(cu_number-manager_cu_number)”。 |
|
resume_checkpoint |
否 |
Boolean |
异常重启是否从checkpoint恢复。 |
|
resume_max_num |
否 |
Integer |
异常重试最大次数，单位：次/小时。取值范围：-1或大于0。默认值为“-1”，表示无限次数。 |
|
tags |
否 |
Array of Objects |
Flink SQL作业的标签。具体请参考表3。 |
|
runtime_config |
否 |
String |
Flink作业运行时自定义优化参数。 |
响应消息
|
参数名称 |
是否必选 |
参数类型 |
说明 |
|---|---|---|---|
|
is_success |
否 |
Boolean |
执行请求是否成功。“true”表示请求执行成功。 |
|
message |
否 |
String |
消息内容。 |
|
job |
否 |
Object |
作业状态信息。具体请参考表5。 |
|
参数名称 |
是否必选 |
参数类型 |
说明 |
|---|---|---|---|
|
job_id |
是 |
Long |
作业ID。 |
|
status_name |
否 |
String |
当前状态名称。参数说明可以参考查询作业详情中status作业状态字段说明。 |
|
status_desc |
否 |
String |
当前状态描述。包含异常状态原因及建议。 |
请求示例
{
"name": "myjob",
"desc": "这是个做字符记数的作业",
"template_id": 100000,
"queue_name": "testQueue",
"sql_body": "select * from source_table",
"run_mode": "exclusive_cluster",
"cu_number": 2,
"parallel_number": 1,
"checkpoint_enabled": false,
"checkpoint_mode": "exactly_once",
"checkpoint_interval": 0,
"obs_bucket": "my_obs_bucket",
"log_enabled": false,
"restart_when_exception": false,
"idle_state_retention": 3600,
"job_type": "flink_sql_job",
"dirty_data_strategy": "0",
"udf_jar_url": "group/test.jar"
}
响应示例
{
"is_success": "true",
"message": "创建作业成功",
"job": {
"job_id": 148,
"status_name": "job_init",
"status_desc": ""
}
}
错误码
调用接口出错后，将不会返回上述结果，而是返回错误码和错误信息，更多介绍请参见错误码。
