更新时间:2024-01-19 GMT+08:00

实时作业监控

实时作业监控提供了对实时处理作业的状态进行监控的能力。

实时处理作业处理实时的连续数据,主要用于实时性要求高的场景。实时作业是由一个或多个节点组成的流水线,每个节点配置独立的、节点级别的调度策略,而且节点启动的任务可以永不下线。在实时作业里,带箭头的连线仅代表业务上的关系,而非任务执行流程,更不是数据流。

您可以在“作业监控 > 实时作业监控”页面查看实时处理作业的运行状态、开始执行时间、结束执行时间等信息,以及进行如表1所示的操作。

图1 实时作业监控

表1 实时作业监控支持的操作项

序号

支持的操作项

说明

1

根据“作业名称”、“责任人”、“CDM作业”或“节点类型”筛选作业

-

2

根据“运行状态”或“作业标签”筛选作业

-

3

批量配置作业

通过勾选作业名称前的复选框,支持批量执行操作。

4

查看作业实例状态

单击作业名称前方的,显示“最近的实例”页面,查看该作业最近的实例信息。

5

作业状态相关

作业“操作”列,支持作业级别的启动、暂停、恢复、停止调度等。

6

添加作业标签

单击“添加作业标签”,弹出添加作业标签对话框进行配置。

7

查看作业的节点信息

单击作业名称,进入“作业监控”详情页面后,单击某个节点,查看该节点的相关关联作业/脚本与监控信息。

说明:

当作业中某个节点配置有事件驱动调度时,在单击此节点时会弹出子作业监控页面。

8

“禁用”“恢复”节点

单击作业名称,进入“作业监控”详情页面后,右键单击某个节点选择“禁用”,禁用后可以再选择“恢复”,恢复运行时可以重新选择运行位置。详情请参见实时作业监控:禁用节点后恢复

9

查看启动日志

单击作业名称,进入“作业监控”详情页面后,右键单击某个节点选择“查看启动日志”,您可以查看该节点的日志信息。

10

调度配置

单击作业名称,进入“作业监控”详情页面后,在“作业监控”详情页面中右键单击配置有事件驱动调度的节点,选择“调度配置”,您可以查看和修改节点的调度信息。详情请参见实时作业监控:事件驱动调度节点调度配置

11

子作业监控

单击作业名称,进入“作业监控”详情页面后,单击配置有事件驱动调度的节点,查看子作业监控页面。详情请参见实时作业监控:子作业监控

12

清除通道消息

单击作业名称,进入“作业监控”详情页面后,右键单击配置有事件驱动调度的节点,选择“清除通道消息”,您可以清除通道消息。

13

查看日志

对于Flink SQL和Flink JAR两种实时处理的单任务作业,作业运行完成后,可以通过“更多 > 查看日志”一键跳转到日志查看页面查看Flink作业日志。

说明:

MRS集群版本为不支持时,界面不显示查看日志,则系统不支持通过一键跳转查看日志。

单击作业名称,在打开的页面中查看该作业的作业参数、作业属性、作业实例。

单击作业的某个节点,可以查看节点属性、脚本内容、节点监控信息。

同时,您可以查看当前作业版本、作业运行状态、启动、重跑、作业开发、是否显示指标监控、设置作业刷新频率等。

实时作业监控:禁用节点后恢复

您可以对实时作业中某个节点配置“禁用”后恢复运行,恢复运行时可以重新选择运行位置。

  1. 登录DataArts Studio控制台。选择实例,单击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。
    图2 选择数据开发

  2. 在数据开发主界面的左侧导航栏,选择运维调度 > 作业监控
  3. 选择“实时作业监控”页签,单击作业名称。
  4. 进入“作业监控”详情页面后,右键单击节点,选择“禁用”
  5. 设置禁用后,再右键单击选择“恢复”。弹出“恢复”对话框,配置如表2所示的参数。
    图3 恢复操作
    表2 恢复参数说明

    参数

    说明

    上次暂停时间

    节点暂停运行的起始时间。

    未运行任务数

    节点暂停期间没有运行的任务数量。

    运行位置

    “运行暂停期间任务”的参数。

    表示选择节点暂停运行后,恢复运行时的启动位置。

    • 从暂停节点开始运行
    • 从子作业第一个节点开始运行

    处理并发数

    “运行暂停期间任务”的参数。

    表示选择任务处理的数量。

    任务名称

    “运行暂停期间任务”的参数。

    表示恢复的任务名称。

实时作业监控:事件驱动调度节点调度配置

当您配置的实时作业中某个节点配置有事件驱动调度时,在“作业监控”详情页面中右键单击配置有事件驱动调度的节点,选择“调度配置”,可以查看和修改节点的调度信息。

  1. 登录DataArts Studio控制台。选择实例,单击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。
    图4 选择数据开发

  2. 在数据开发主界面的左侧导航栏,选择运维调度 > 作业监控
  3. 选择“实时作业监控”页签,单击作业名称。
  4. 进入“作业监控”详情页面后,右键单击配置有事件驱动调度的节点,选择“调度配置”,配置如表3所示的参数。
    图5 调度配置
    表3 调度配策略参数说明

    参数

    说明

    DIS通道名称

    选择DIS通道,当指定的DIS通道有新消息时,数据开发模块将新消息传递给作业,触发该作业运行。

    事件处理并发数

    选择作业并行处理的数量,最大并发数为10。

    事件检测间隔

    配置事件检测时间间隔。时间间隔单位可以配置为秒或分钟。

    失败策略

    选择调度失败后的策略:

    • 结束调度
    • 忽略失败,继续调度
    图6 DIS调度策略配置

实时作业监控:子作业监控

当用户配置的作业中某个节点配置有事件调度时,单击此节点可以查询子作业监控。在“子作业监控”页面可以对子作业设置停止、重跑、继续执行、强制成功、查看事件内容等操作。

  1. 登录DataArts Studio控制台。选择实例,单击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。
    图7 选择数据开发

  2. 在数据开发主界面的左侧导航栏,选择运维调度 > 作业监控
  3. 选择“实时作业监控”页签,单击作业名称。
  4. 进入“作业监控”详情页面后,单击配置有事件调度的节点。如图8所示。
    图8 子作业监控

    “子作业监控”页面的“操作”列,提供如表4所示的操作。

    表4 子作业监控操作

    操作项

    说明

    停止

    停止运行状态为“运行中”的子作业实例。

    重跑

    重新运行状态为“成功”“失败”的子作业实例。

    继续执行

    子作业实例的状态为“运行异常”时,支持继续运行子作业实例中的后续节点

    说明:

    只有节点节点属性 > 高级 > 失败策略设置为“挂起当前作业执行计划”时,才可以执行该操作。

    强制成功

    强制将状态为“失败”的子作业实例变更为“运行成功”状态。

    事件内容

    查看子作业的事件内容。

  5. 单击“子作业监控”页面“状态”列下方的,显示该子作业节点的运行记录。
    节点“操作”列,提供如表5所示的操作。
    表5 操作(节点

    操作项

    说明

    查看日志

    查看节点的日志信息。

    手工重试

    节点的状态为“失败”时,支持重新运行节点

    节点的状态为“运行异常”时,支持进行手工重试。

    说明:

    只有节点节点属性 > 高级 > 失败策略设置为“挂起当前作业执行计划”时,才可以执行该操作。

    强制成功

    节点的状态为“失败”时,支持将该节点强制变更为“成功”状态,且实例监控中作业实例的状态显示为“强制成功”。

    说明:

    只有节点节点属性 > 高级 > 失败策略设置为“挂起当前作业执行计划”时,才可以执行该操作。

    更多 > 跳过

    节点的状态为“待运行”“已暂停节点时,支持跳过该节点

    说明:

    若实例为单节点实例,不支持跳过操作。为多节点实例支持跳过操作。

    更多 > 暂停

    节点的状态为“运行中”时,支持暂停运行该节点,该暂停节点的后续节点将会被阻塞。

    更多 > 恢复

    节点的状态为“已暂停”时,支持恢复运行该节点

    更多 > 历史性能

    可以查看作业节点的历史性能折线图。