查询作业列表 - ListFlinkJobs

is_success

否

String

参数解释：

执行请求是否成功。

取值范围：

“true”：表示请求执行成功。

“false”：表示请求执行失败。

message

否

String

参数解释：

系统提示信息，执行成功时，该值为空。

取值范围：

无

job_list

否

Object

参数解释：

作业列表信息。请参见表4。

取值范围：

无

total_count

否

Integer

参数解释：

作业查询结果条数。

取值范围：

无

jobs

否

Array of Objects

参数解释：

作业信息。请参见表5。

取值范围：

无

job_id

否

Long

参数解释：

作业ID。

取值范围：

无

name

否

String

参数解释：

作业名称。

取值范围：

长度限制：0-57个字符。

desc

否

String

参数解释：

作业描述。

取值范围：

长度限制：0-512个字符。

user_name

否

String

参数解释：

用户名，当“show_detail”为“false”时独有。

取值范围：

长度在[1,128]范围内的字符串

job_type

否

String

参数解释：

作业类型。

取值范围：

• flink_sql_job：flink sql作业
• flink_opensource_sql_job：flink opensource sql作业
• flink_sql_edge_job：flink sql边缘作业
• flink_jar_job：flink自定义作业

status

否

String

参数解释：

作业状态。

取值范围：

• job_init：草稿
• job_submitting：提交中
• job_submit_fail：提交失败
• job_running：运行中
• job_running_exception：运行异常
• job_downloading：下载中
• job_idle：空闲
• job_canceling：停止中
• job_cancel_success：已停止
• job_cancel_fail：停止失败
• job_savepointing：保存点创建中
• job_arrearage_stopped：因欠费被停止
• job_arrearage_recovering：欠费作业恢复中
• job_finish：已完成

status_desc

否

String

参数解释：

作业状态描述。

取值范围：

无

create_time

否

Long

参数解释：

作业创建时间。示例: 1516952770835

取值范围：

大于等于0的整数。

start_time

否

Long

参数解释：

作业启动时间。“0”表示尚未启动。

示例: 1516952710740

取值范围：

大于等于0的整数。

duration

否

Long

参数解释：

作业运行时长。 单位ms，“show_detail”为“false”时独有。

取值范围：

大于等于0的整数。

root_id

否

Long

参数解释：

父作业ID。“show_detail”为“false”时独有。

取值范围：

无

graph_editor_enabled

否

Boolean

参数解释：

作业的流图是否可编辑。“true”表示作业的流图可以编辑，“false”表示作业的流图不可以编辑。

取值范围：

无

has_savepoint

否

Boolean

参数解释：

作业是否有保存点。“true”表示作业有保存点，“false”表示作业没有保存点。

取值范围：

无

user_id

否

String

参数解释：

作业所属用户标识。 “show_detail”为“true”时独有。

取值范围：

无

project_id

否

String

参数解释：

作业所属项目标识。 “show_detail”为“true”时独有。

取值范围：

无

sql_body

否

String

参数解释：

Stream SQL语句。 “show_detail”为“true”时独有。

取值范围：

无

run_mode

否

String

参数解释：

作业运行模式。包括共享、独享模式和边缘节点。“show_detail”为“true”时独有。

取值范围：

• shared_cluster：共享
• exclusive_cluster：独享
• edge_node：边缘节点

job_config

否

Object

参数解释：

作业配置。 “show_detail”为“true”时独有。具体参数说明请参见表6。

取值范围：

无

main_class

否

String

参数解释：

jar包主类。“show_detail”为“true”时独有。

取值范围：

无

entrypoint_args

否

String

参数解释：

jar包作业运行参数。多个参数之间用空格分隔。“show_detail”为“true”时独有。

取值范围：

无

execution_graph

否

String

参数解释：

作业执行计划。“show_detail”为“true”时独有。

取值范围：

无

update_time

否

Long

参数解释：

作业更新时间。“show_detail”为“true”时独有。

取值范围：

无

queue_name

否

String

参数解释：

队列名称。

取值范围：

无

edge_group_ids

否

Array of Strings

参数解释：

边缘计算组ID列表。多个ID以逗号分隔。

取值范围：

无

restart_times

否

Integer

参数解释：

重启次数。

取值范围：

无

savepoint_path

否

String

参数解释：

手动产生的Checkpoint的保存路径。

取值范围：

无

checkpoint_enabled

否

Boolean

参数解释：

是否开启作业自动快照功能。

取值范围：

• true：开启
• false：关闭

默认为“false”。

checkpoint_mode

否

String

参数解释：快照模式。

取值范围：

两种可选：

• exactly_once：数据只被消费一次。
• at_least_once：数据至少被消费一次。

默认值为“exactly_once”。

checkpoint_interval

否

Integer

参数解释：

快照时间间隔。 单位为秒，默认值为“10”。

取值范围：

无

log_enabled

否

Boolean

参数解释：

是否启用日志存储。默认为“false”。

取值范围：

true：启用日志存储。

false：不启用日志存储。

obs_bucket

否

String

参数解释：

OBS桶名。

取值范围：

无

smn_topic

否

String

参数解释：

SMN主题名。当作业异常时，向该SMN主题推送告警信息。

取值范围：

无

root_id

否

Integer

参数解释：

父作业ID。

取值范围：

无

edge_group_ids

否

Array of Strings

参数解释：

边缘计算组ID列表。多个ID以逗号分隔。

取值范围：

无

manager_cu_number

否

Integer

参数解释：

管理单元CU数。默认为“1”。

取值范围：

无

cu_number

否

Integer

参数解释：

用户为作业选择的CU数量。 “show_detail”为“true”时独有。

• 最小值：2
• 最大值：400

默认为“2”。

取值范围：

无

parallel_number

否

Integer

参数解释：

用户设置的作业并行数。 “show_detail”为“true”时独有。

• 最小值：1
• 最大值：2000

默认为“1”。

取值范围：

无

restart_when_exception

否

Boolean

参数解释：

是否开启异常重启功能。

取值范围：

无

idle_state_retention

否

Integer

参数解释：

空闲状态过期周期。

取值范围：

无

udf_jar_url

否

String

参数解释：

用户已上传到DLI资源管理系统的程序包名，用户sql作业的udf jar通过该参数传入。

取值范围：

无

dirty_data_strategy

否

String

参数解释：

作业脏数据策略。

取值范围：

• “2:obsDir”：保存，obsDir表示脏数据存储路径。
• “1”：抛出异常。
• “0”：忽略。

entrypoint

否

String

参数解释：

用户已上传到DLI资源管理系统的程序包名，用户自定义作业主类所在的jar包。

取值范围：

无

dependency_jars

否

Array of Strings

参数解释：

用户已上传到DLI资源管理系统的程序包名，用户自定义作业的其他依赖包。

取值范围：

无

dependency_files

否

Array of Strings

参数解释：

用户已上传到DLI资源管理系统的资源包名，用户自定义作业的依赖文件。

取值范围：

无

executor_number

否

Integer

参数解释：

作业使用计算节点个数。

取值范围：

无

executor_cu_number

否

Integer

参数解释：

计算节点CU数。

取值范围：

无

execution_agency_urn

否

String

参数解释：

参授权给DLI的委托名。

Flink1.15版本时支持配置该参数。

取值范围：

无

resume_checkpoint

否

Boolean

参数解释：

异常自动重启时，是否从最新checkpoint恢复。默认值为“false”。

取值范围：

无

runtime_config

否

String

参数解释：

Flink作业运行时自定义优化参数。

取值范围：

无

graph_editor_enabled

否

Boolean

参数解释：

流图编辑开关。默认为“false”。

取值范围：

无

graph_editor_data

否

String

参数解释：

流图编辑数据。默认为null。

取值范围：

无

resume_max_num

否

Integer

参数解释：

异常重试最大次数。-1代表无限。

取值范围：

无

checkpoint_path

否

String

参数解释：

检查点保存路径。

取值范围：

无

config_url

否

String

参数解释：

用户上传的config包OBS路径。

取值范围：

无

tm_cus

否

int

参数解释：

单TM所占CU数。

取值范围：

无

tm_slot_num

否

int

参数解释：

单TM Slot数。

取值范围：

无

image

否

String

参数解释：

自定义镜像。格式为：组织名/镜像名:镜像版本。

当用户设置“feature”为“custom”时，该参数生效。用户可通过与“feature”参数配合使用，指定作业运行使用自定义的Flink镜像。关于如何使用自定义镜像，请参考《数据湖探索用户指南》。

取值范围：

无

feature

否

String

参数解释：

自定义作业特性。表示用户作业使用的Flink镜像类型。

取值范围：

• basic：表示使用DLI提供的基础Flink镜像。
• custom：表示使用用户自定义的Flink镜像。

flink_version

否

String

参数解释：

Flink版本。当用户设置“feature”为“basic”时，该参数生效。用户可通过与“feature”参数配合使用，指定作业运行使用的DLI基础Flink镜像的版本。

取值范围：

无

operator_config

否

String

参数解释：

各算子并行度参数，以json的形式展示各算子id和并行度。

取值范围：

无

static_estimator_config

否

String

参数解释：

静态流图资源预估参数，以json的形式展示。

取值范围：

无

real_cu_number

否

Integer

参数解释：

实际使用的CU数。默认值为“0”，表示此时以“cu_number”的值为准。

取值范围：

无

resource_config_version

否

String

参数解释：

资源配置版本。可选值 "v1" ,"v2".默认为“v1”。

v2版本对比于v1模版不支持设置CU数量，支持直接设置Job Manager Memory和Task Manager Memory。

取值范围：

v1：适用于Flink 1.12、Flink 1.15

V2：适用于Flink 1.15、Flink 1.17

优先推荐使用V2版本的参数设置。

resource_config

否

Object

参数解释：

Flink 作业的资源配置。

取值范围：

具体参数说明请参考表7。

资源配置版本 为 "v2"时，配置生效，资源配置版本 为 "v1"时，配置无效。

flink_log_config

否

String

参数解释：

配置日志和状态。Flink 1.15及以上版本支持配置该参数。

取值范围：

包括：root_logger_level、loggers_level_of_class

日志级别取值说明请参考表10。

• root_logger_level

  日志级别用于区分日志信息的重要性和紧急程度。根日志级别是全局的日志级别设置，它为整个应用程序提供了一个默认的日志级别。

  当没有为特定的日志记录器或类设置日志级别时，根日志级别将被使用。例如，如果根日志级别设置为INFO，那么所有未单独设置级别的日志记录器都将输出INFO及以上级别的日志。

  从低到高，日志级别的优先级通常为：TRACE<DEBUG<INFO<WARN<ERROR<FATAL

  在实际使用中，可以根据日志级别来过滤和显示日志信息。例如：

  • 在开发阶段，可能会启用TRACE和DEBUG级别。
  • 在生产环境中，通常只启用INFO、WARN和ERROR级别，以减少日志文件的大小和提高性能。
• loggers_level_of_class

  类日志等级是指针对特定类或包设置的日志级别。它允许用户对不同的类或包进行更精细的日志控制。通过设置类日志等级，可以对特定的类或包进行更详细的日志记录，而不会影响到其他部分的日志输出。例如，在调试过程中，可以将某个关键类的日志级别设置为DEBUG，以便获取更多调试信息。

  配置样例

  {"root_logger_level":"INFO","loggers_level_of_class":{"org.apache.flink":"WARN","org.apache.kafka.clients.consumer.KafkaConsumer":"DEBUG","com.mycompany.job.MainFunction":"TRACE"}}

max_slot

否

integer

参数解释：

该参数用于设置单个TaskManager可以提供的并行任务数量。每个Task Slot可以并行执行一个任务。增加 Task Slots 可以提高 TaskManager 的并行处理能力，但也会增加资源消耗。

Task Slots的数量与TaskManager的CPU数相关联，因为每个CPU可以提供一个Task Slot。

取值范围：

单TM Slot默认值为1。最小并行数不能小于1。

parallel_number

否

integer

参数解释：

作业的并行数，指作业中各个算子的并行执行的子任务的数量，算子的子任务数就是其对应算子的并行度。

取值范围：

默认值为“1”。

jobmanager_resource_spec

否

Object

参数解释：

JobManager资源规格。

取值范围：

具体参数说明请参考表8。

taskmanager_resource_spec

否

Object

参数解释：

TaskManager资源规格。

取值范围：

具体参数说明请参考表9。

cpu

否

double

参数解释：

JobManager可以使用的CPU核数。

取值范围：

默认值为1.0个CPU核数，最低不得小于0.5个CPU核数。

如果当前作业是运行在基础版弹性资源池（16-64CUs）上，推荐JobManager CPU的值不超过2，避免执行作业时资源调度失败。

memory

否

string

参数解释：

JobManager可以使用的内存，单位MB，GB。默认GB。

取值范围：

默认值为4GB，最低不得小于2G。

cpu

否

double

参数解释：

TaskManager可以使用的CPU核数。

取值范围：

默认值为1.0个CPU核数，最低不得小于0.5个CPU核数。

如果当前作业是运行在基础版弹性资源池（16-64CUs）上，推荐TaskManager CPU的值不超过2，避免执行作业时资源调度失败。

memory

否

string

参数解释：

TaskManager可以使用的内存，单位MB，GB。默认GB。

取值范围：

默认值为4GB，最低不得小于2G。

TRACE

最细粒度的信息，通常用于开发和调试阶段。它记录系统的所有操作细节，包括变量值、函数调用等。

主要用于开发阶段，帮助开发者理解代码的执行流程和状态。

DEBUG

比TRACE稍低的详细程度，用于调试目的。它记录程序的运行状态和关键变量的值，但不会像TRACE那样记录所有细节。

主要用于开发和测试阶段，帮助开发者定位问题。

INFO

用于记录正常运行时的重要信息，这些信息对系统操作者和维护者有用，但不会影响系统的正常运行。

记录系统的主要操作和状态，例如启动、停止、配置变更等。

WARN

表示潜在问题或异常情况，但不会影响系统的正常运行。它提醒开发者或操作者注意某些可能的问题。

记录可能会影响系统性能或功能的潜在问题。

ERROR

表示严重问题或异常，这些错误会影响系统的正常运行，需要立即处理。

记录系统运行中的错误和异常情况，帮助开发者快速定位和解决问题。

200

查询作业列表成功。

400

输入参数无效。