实时作业监控
实时作业监控提供了对实时处理作业的状态进行监控的能力。
实时处理作业处理实时的连续数据，主要用于实时性要求高的场景。实时作业是由一个或多个节点组成的流水线，每个节点配置独立的、节点级别的调度策略，而且节点启动的任务可以永不下线。在实时作业里，带箭头的连线仅代表业务上的关系，而非任务执行流程，更不是数据流。
您可以在“作业监控 > 实时作业监控”页面查看实时处理作业的运行状态、开始执行时间、结束执行时间等信息，以及进行如表1所示的操作。
序号 |
支持的操作项 |
说明 |
|---|---|---|
1 |
根据“作业名称”、“责任人”、“CDM作业”或“节点类型”筛选作业 |
- |
2 |
根据“运行状态”或“作业标签”筛选作业 |
- |
3 |
批量配置作业 |
通过勾选作业名称前的复选框，支持批量执行操作（启动、停止、添加作业标签）。 |
4 |
查看作业实例状态 |
单击作业名称前方的 |
5 |
作业状态相关 |
在作业的“操作”列，支持作业级别的启动、暂停、恢复、停止调度、重跑、添加作业标签等。 |
6 |
添加作业标签 |
单击“添加作业标签”，弹出对话框进行配置。 |
7 |
查看作业的节点信息 |
单击作业名称，进入“作业监控”详情页面后，单击某个节点，查看该节点的相关关联作业/脚本与监控信息。
说明：
当作业中某个节点配置有事件驱动调度时，在单击此节点时会弹出子作业监控页面。 |
8 |
“禁用”和“恢复”节点 |
单击作业名称，进入“作业监控”详情页面后，右键单击某个节点选择“禁用”，禁用后可以再选择“恢复”，恢复运行时可以重新选择运行位置。详情请参见实时作业监控：禁用节点后恢复。 |
9 |
查看启动日志 |
单击作业名称，进入“作业监控”详情页面后，右键单击某个节点选择“查看启动日志”，您可以查看该节点的日志信息。 |
10 |
调度配置 |
单击作业名称，进入“作业监控”详情页面后，在“作业监控”详情页面中右键单击配置有事件驱动调度的节点，选择“调度配置”，您可以查看和修改节点的调度信息。详情请参见实时作业监控：事件驱动调度节点调度配置。 |
11 |
清除通道消息 |
单击作业名称，进入“作业监控”详情页面后，右键单击配置有事件驱动调度的节点，选择“清除通道消息”，您可以清除通道消息。 |
12 |
查看日志 |
对于Flink SQL和Flink JAR两种实时处理的单任务作业，作业运行完成后，可以通过“更多 > 查看日志”一键跳转到日志查看页面查看Flink作业日志。
说明：
MRS集群版本为不支持时，界面不显示查看日志，则系统不支持通过一键跳转查看日志。 |
单击作业名称，在打开的页面中查看该作业的作业参数、作业属性、作业实例。
单击作业的某个节点，可以查看节点属性、脚本内容、节点监控信息。
同时，您可以查看当前作业版本、作业运行状态、启动、重跑、作业开发、是否显示指标监控、设置作业刷新频率等。
实时作业监控：禁用节点后恢复
您可以对实时作业中某个节点配置“禁用”后恢复运行，恢复运行时可以重新选择运行位置。
- 参考访问DataArts Studio实例控制台登录DataArts Studio管理控制台。
- 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。
- 在数据开发主界面的左侧导航栏，选择。
- 选择“实时作业监控”页签，单击作业名称。
- 进入“作业监控”详情页面后，右键单击节点，选择“禁用”。
- 设置禁用后，再右键单击选择“恢复”。弹出“恢复”对话框，配置如表2所示的参数。
图2 恢复操作
实时作业监控：事件驱动调度节点调度配置
当您配置的实时作业中某个节点配置有事件驱动调度时，在“作业监控”详情页面中右键单击配置有事件驱动调度的节点，选择“调度配置”，可以查看和修改节点的调度信息。
- 参考访问DataArts Studio实例控制台登录DataArts Studio管理控制台。
- 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。
- 在数据开发主界面的左侧导航栏，选择。
- 选择“实时作业监控”页签，单击作业名称。
- 进入“作业监控”详情页面后，右键单击配置有事件驱动调度的节点，选择“调度配置”，配置如表3所示的参数。
图3 调度配置
表3 调度配策略参数说明 参数
说明
DIS通道名称
选择DIS通道，当指定的DIS通道有新消息时，数据开发模块将新消息传递给作业，触发该作业运行。
事件处理并发数
选择作业并行处理的数量，最大并发数为10。
事件检测间隔
配置事件检测时间间隔。时间间隔单位可以配置为秒或分钟。
失败策略
选择调度失败后的策略：
- 结束调度
- 忽略失败，继续调度
图4 DIS调度策略配置
