更新时间:2022-12-07 GMT+08:00

新建SQL作业

功能介绍

该API用于创建Flink SQL作业。

URI

  • URI格式

    POST /v1.0/{project_id}/streaming/sql-jobs

  • 参数说明
    表1 URI参数说明

    参数名称

    是否必选

    参数类型

    说明

    project_id

    String

    项目编号,用于资源隔离。获取方式请参考获取项目ID

请求消息

表2 请求参数说明

参数名称

是否必选

参数类型

说明

name

String

作业名称。长度限制:1-57个字符。

desc

String

作业描述。长度限制:0-512个字符。

template_id

Integer

模板ID。

如果“template_id”“sql_body”都不为空,优先选择“sql_body”的内容;如果“template_id”不为空,“sql_body”为空,选择“template_id”的内容填充“sql_body”

queue_name

String

队列名称。长度限制:0-128个字符。

sql_body

String

Stream SQL语句,至少包含source, query, sink三个部分。长度限制:1024*1024个字符。

run_mode

String

作业运行模式:

  • shared_cluster:共享。
  • exclusive_cluster:独享。
  • edge_node:边缘节点。

默认值为“shared_cluster”。

cu_number

Integer

用户为作业选择的CU数。默认值为“2”。

CU数量为DLI的计算单元数量和管理单元数量总和,CU也是DLI的计费单位,1CU=1核4G。当前配置的CU数量为运行作业时所需的CU数,不能超过其绑定队列的CU数量。管理单元参数设置详见:manager_cu_number。

parallel_number

Integer

用户设置的作业并行数目。默认值为“1”。

并行数是指同时运行Flink SQL作业的最大任务数。适度增加并行数会提高作业整体算力,但也须考虑线程增多带来的切换开销。最大并行数不能大于计算单元(CU数量-管理单元)的4倍。

管理单元参数设置详见:manager_cu_number。

checkpoint_enabled

Boolean

是否开启作业自动快照功能。

  • 开启:true
  • 关闭:false
  • 默认:false

checkpoint_mode

Integer

快照模式,。两种可选:

  • 1:表示exactly_once,数据只被消费一次。
  • 2:表示at_least_once,数据至少被消费一次。

默认值为1。

checkpoint_interval

Integer

快照时间间隔。单位为秒,默认值为“10”

obs_bucket

String

“checkpoint_enabled”“true”时,该参数是用户授权保存快照的OBS路径。

“log_enabled”“true”时,该参数是用户授权保存作业日志的OBS路径。

log_enabled

Boolean

是否开启作业的日志上传到用户的OBS功能。默认为“false”

smn_topic

String

当作业异常时,向该SMN主题推送告警信息。

restart_when_exception

Boolean

是否开启作业异常自动重启。默认为“false”

idle_state_retention

Integer

空闲状态保留时间。单位为小时,默认值为“1”

job_type

String

作业类型:flink_sql_job。

dirty_data_strategy

String

作业脏数据策略。

  • “2:obsDir”:保存,obsDir表示脏数据存储路径。
  • “1”:抛出异常。
  • “0”:忽略。

默认值为“0”。

udf_jar_url

String

用户已上传到DLI资源管理系统的资源包名,用户sql作业的udf jar包通过该参数传入。

manager_cu_number

Integer

用户为作业选择的管理单元(jobmanager)CU数量,默认值为“1”。

tm_cus

Integer

每个taskmanager的CU数,默认值为“1”。

tm_slot_num

Integer

每个taskmanager的slot数,默认值为“(parallel_number*tm_cus)/(cu_number-manager_cu_number)”。

resume_checkpoint

Boolean

异常重启是否从checkpoint恢复。

resume_max_num

Integer

异常重试最大次数,单位:次/小时。取值范围:-1或大于0。默认值为“-1”,表示无限次数。

tags

Array of Objects

Flink SQL作业的标签。具体请参考表3

runtime_config

String

Flink作业运行时自定义优化参数。

表3 tags参数

参数名称

是否必选

参数类型

说明

key

String

标签的键。

value

String

标签的值。

响应消息

表4 响应参数说明

参数名称

是否必选

参数类型

说明

is_success

Boolean

执行请求是否成功。“true”表示请求执行成功。

message

String

消息内容。

job

Object

作业状态信息。具体请参考表5

表5 job参数说明

参数名称

是否必选

参数类型

说明

job_id

Long

作业ID。

status_name

String

当前状态名称。参数说明可以参考查询作业详情中status作业状态字段说明。

status_desc

String

当前状态描述。包含异常状态原因及建议。

请求示例

{
    "name": "myjob",
    "desc": "这是个做字符记数的作业",
    "template_id": 100000,
    "queue_name": "testQueue",
    "sql_body": "select * from source_table",
    "run_mode": "exclusive_cluster",
    "cu_number": 2,
    "parallel_number": 1,
    "checkpoint_enabled": false,
    "checkpoint_mode": "exactly_once",
    "checkpoint_interval": 0,
    "obs_bucket": "my_obs_bucket",
    "log_enabled": false,
    "restart_when_exception": false,
    "idle_state_retention": 3600,
    "job_type": "flink_sql_job",
    "dirty_data_strategy": "0",
    "udf_jar_url": "group/test.jar"
}

响应示例

{
    "is_success": "true",
    "message": "创建作业成功",
    "job": {
        "job_id": 148,
        "status_name": "job_init",
        "status_desc": ""
    }
}

状态码

状态码如表6所示。

表6 状态码

状态码

描述

200

创建作业成功。

400

输入参数无效。

错误码

调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码