更新时间:2024-04-09 GMT+08:00
分享

查询作业详情

功能介绍

查看一个作业的详情信息。

调试

您可以在API Explorer中调试该接口。

URI

  • URI格式

    GET /v1.0/{project_id}/streaming/jobs/{job_id}

  • 参数说明
    表1 URI参数说明

    参数名称

    是否必选

    参数类型

    说明

    project_id

    String

    项目编号,用于资源隔离。获取方式请参考获取项目ID

    job_id

    String

    作业ID。

请求消息

无请求参数。

响应消息

表2 响应参数说明

参数名称

是否必选

参数类型

说明

is_success

Boolean

执行请求是否成功。“true”表示请求执行成功。

message

String

系统提示信息,执行成功时,信息可能为空。

job_detail

Object

作业详情。请参见表3

表3 job_detail参数说明

参数名称

是否必选

参数类型

说明

job_id

Long

作业ID。

name

String

作业名称。长度限制:0-57个字符。

desc

String

作业描述。长度限制:0-512个字符。

job_type

String

作业类型。

  • flink_sql_job:flink sql作业
  • flink_opensource_sql_job:flink opensource sql作业
  • flink_sql_edge_job:flink sql边缘作业
  • flink_jar_job:flink自定义作业

status

String

作业状态。

作业的状态如下:

  • job_init:草稿
  • job_submitting:提交中
  • job_submit_fail:提交失败
  • job_running:运行中(开始计费,提交作业后,返回正常结果)
  • job_running_exception:运行异常(停止计费。作业发生运行时异常,停止运行作业)
  • job_downloading:下载中
  • job_idle:空闲
  • job_canceling:停止中
  • job_cancel_success:已停止
  • job_cancel_fail:停止失败
  • job_savepointing:保存点创建中
  • job_arrearage_stopped:因欠费被停止(结束计费。用户账户欠费,作业停止)
  • job_arrearage_recovering:欠费作业恢复中(用户账户欠费,账户充值,作业恢复中)
  • job_finish:已完成

status_desc

String

作业状态描述。

create_time

Long

作业创建时间。

start_time

Long

作业启动时间。

user_id

String

作业所属用户标识。

queue_name

String

队列名称。长度限制:1-128个字符。

project_id

String

作业所属项目标识。

sql_body

String

Stream SQL语句。

savepoint_path

String

手动产生的Checkpoint的保存路径。

run_mode

String

作业运行模式。

  • shared_cluster:共享
  • exclusive_cluster:独享
  • edge_node:边缘节点

job_config

Object

作业配置, 具体参数说明请参见表4

main_class

String

jar包主类。例如,org.apache.spark.examples.streaming.JavaQueueStream

entrypoint_args

String

jar包作业运行参数,多个参数之间空格分隔。

execution_graph

String

作业执行计划。

update_time

Long

作业更新时间。

user_name

String

用户名,当“show_detail”“false”时独有。

duration

Long

作业运行时长。 单位ms,“show_detail”“false”时独有。

root_id

Long

父作业ID。“show_detail”“false”时独有。

graph_editor_enabled

Boolean

作业的流图是否可编辑。“true”表示作业的流图可以编辑,“false”表示作业的流图不可以编辑。

has_savepoint

Boolean

作业是否有保存点。“true”表示作业有保存点,“false”表示作业没有保存点。

edge_group_ids

Array of Strings

边缘计算组ID列表。多个ID以逗号分隔。

restart_times

Integer

重启次数。

表4 job_config参数说明

参数名称

是否必选

参数类型

说明

checkpoint_enabled

Boolean

是否开启作业自动快照功能。

  • true:开启
  • false:关闭

默认为“false”

checkpoint_interval

Integer

快照时间间隔。 单位为秒,默认值为“10”

checkpoint_mode

String

快照模式,。两种可选:

  • exactly_once:数据只被消费一次。
  • at_least_once:数据至少被消费一次。

默认值为“exactly_once”

log_enabled

Boolean

是否启用日志存储。默认为“false”

obs_bucket

String

OBS桶名。

root_id

Integer

父作业ID。

edge_group_ids

Array of Strings

边缘计算组ID列表。多个ID以逗号分隔。

manager_cu_number

Integer

管理单元CU数。默认为“1”

graph_editor_enabled

Boolean

流图编辑开关。默认为“false”。

graph_editor_data

String

流图编辑数据。默认为null。

executor_number

Integer

作业使用计算节点个数。

executor_cu_number

Integer

计算节点cu数。

cu_number

Integer

用户为作业选择的CU数量。 “show_detail”“true”时独有。

  • 最小值:2
  • 最大值:400

默认为“2”

parallel_number

Integer

用户设置的作业并行数。 “show_detail”“true”时独有。

  • 最小值:1
  • 最大值:2000

默认为“1”

smn_topic

String

SMN主题名。当作业异常时,向该SMN主题推送告警信息。

restart_when_exception

Boolean

是否开启异常重启功能。

resume_checkpoint

Boolean

异常自动重启时,是否从最新checkpoint恢复。默认值为“false”。

resume_max_num

Integer

异常重试最大次数。-1代表无限。

checkpoint_path

String

检查点保存路径。

idle_state_retention

Integer

空闲状态过期周期。

config_url

String

用户上传的config包OBS路径。

udf_jar_url

String

用户已上传到DLI资源管理系统的程序包名,用户sql作业的udf jar通过该参数传入。

dirty_data_strategy

String

作业脏数据策略。

  • “2:obsDir”:保存,obsDir表示脏数据存储路径。
  • “1”:抛出异常。
  • “0”:忽略。

entrypoint

String

用户已上传到DLI资源管理系统的程序包名,用户自定义作业主类所在的jar包。

dependency_jars

Array of Strings

用户已上传到DLI资源管理系统的程序包名,用户自定义作业的其他依赖包。

dependency_files

Array of Strings

用户已上传到DLI资源管理系统的资源包名,用户自定义作业的依赖文件。

tm_cus

int

单TM所占CU数。

tm_slot_num

int

单TM Slot数。

image

String

自定义镜像。格式为:组织名/镜像名:镜像版本。

当用户设置“feature”“custom”时,该参数生效。用户可通过与“feature”参数配合使用,指定作业运行使用自定义的Flink镜像。关于如何使用自定义镜像,请参考《数据湖探索用户指南》。

feature

String

自定义作业特性。表示用户作业使用的Flink镜像类型。

  • basic:表示使用DLI提供的基础Flink镜像。
  • custom:表示使用用户自定义的Flink镜像。

flink_version

String

Flink版本。当用户设置“feature”“basic”时,该参数生效。用户可通过与“feature”参数配合使用,指定作业运行使用的DLI基础Flink镜像的版本。

operator_config

String

各算子并行度参数,以json的形式展示各算子id和并行度。

static_estimator_config

String

静态流图资源预估参数,以json的形式展示。

runtime_config

String

Flink作业运行时自定义优化参数。

real_cu_number

Integer

实际使用的CU数。默认值为“0”,表示此时以“cu_number”的值为准。

请求示例

响应示例

  • 作业类型为:flink_jar_job,参考响应样例如下:
    {
        "is_success": "true",
        "message": "作业详情查询成功",
        "job_detail": {
            "job_id": 104,
            "user_id": "011c99a26ae84a1bb963a75e7637d3fd",
            "queue_name": "flinktest",
            "project_id": "330e068af1334c9782f4226acc00a2e2",
            "name": "jptest",
            "desc": "",
            "sql_body": "",
            "run_mode": "exclusive_cluster",
            "job_type": "flink_jar_job",
            "job_config": {
                "checkpoint_enabled": false,
                "checkpoint_interval": 10,
                "checkpoint_mode": "exactly_once",
                "log_enabled": false,
                "obs_bucket": null,
                "root_id": -1,
                "edge_group_ids": null,
                "graph_editor_enabled": false,
                "graph_editor_data": "",
                "manager_cu_number": 1,
                "executor_number": null,
                "executor_cu_number": null,
                "cu_number": 2,
                "parallel_number": 1,
                "smn_topic": null,
                "restart_when_exception": false,
                "idle_state_retention": 3600,
                "config_url": null,
                "udf_jar_url": null,
                "dirty_data_strategy": null,
                "entrypoint": "FemaleInfoCollection.jar",
                "dependency_jars": [
                    "FemaleInfoCollection.jar",
                    "ObsBatchTest.jar"
                ],
                "dependency_files": [
                    "FemaleInfoCollection.jar",
                    "ReadFromResource"
                ]
            },
            "main_class": null,
            "entrypoint_args": null,
            "execution_graph": null,
            "status": "job_init",
            "status_desc": "",
            "create_time": 1578466221525,
            "update_time": 1578467395713,
            "start_time": null
        }
    }
  • 作业类型为:flink_opensource_sql_job,参考响应样例如下:
    {
        "is_success": "true",
        "message": "The job information query succeeds.",
        "job_detail": {
            "job_type": "flink_opensource_sql_job",
            "status_desc": "",
            "create_time": 1637632872828,
            "sql_body": "xxx",
            "savepoint_path": null,
            "main_class": null,
            "queue_name": "xie_container_general",
            "execution_graph": "xxx",
            "start_time": 1638433497621,
            "update_time": 1638449337993,
            "job_config": {
                "checkpoint_enabled": true,
                "checkpoint_interval": 600,
                "checkpoint_mode": "exactly_once",
                "log_enabled": true,
                "obs_bucket": "dli-test",
                "root_id": -1,
                "edge_group_ids": null,
                "graph_editor_enabled": false,
                "graph_editor_data": "",
                "manager_cu_number": 1,
                "executor_number": null,
                "executor_cu_number": null,
                "cu_number": 2,
                "parallel_number": 3,
                "smn_topic": "",
                "restart_when_exception": true,
                "resume_checkpoint": true,
                "resume_max_num": -1,
                "checkpoint_path": null,
                "idle_state_retention": 3600,
                "config_url": null,
                "udf_jar_url": "test/flink_test-1.0-SNAPSHOT-jar-with-dependencies.jar",
                "dirty_data_strategy": "0",
                "entrypoint": "test/flink_test-1.0-SNAPSHOT-jar-with-dependencies.jar",
                "dependency_jars": null,
                "dependency_files": null,
                "tm_cus": 1,
                "tm_slot_num": 3,
                "image": null,
                "feature": null,
                "flink_version": null,
                "operator_config": "xxx",
                "static_estimator_config": "xxx",
                "runtime_config": null
            },
            "user_id": "xxx",
            "project_id": "xxx",
            "run_mode": "exclusive_cluster",
            "job_id": 90634,
            "name": "test_guoquan",
            "desc": "",
            "entrypoint_args": null,
            "status": "job_cancel_success"
        }
    }

状态码

状态码如表5所示。

表5 状态码

状态码

描述

200

查询作业详情成功。

400

输入参数无效。

错误码

调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码

分享:

    相关文档

    相关产品