实时作业监控

实时作业监控提供了对实时处理作业的状态进行监控的能力。

实时处理作业处理实时的连续数据，主要用于实时性要求高的场景。实时作业是由一个或多个节点组成的流水线，每个节点配置独立的、节点级别的调度策略，而且节点启动的任务可以永不下线。在实时作业里，带箭头的连线仅代表业务上的关系，而非任务执行流程，更不是数据流。

您可以在“作业监控 > 实时作业监控”页面查看实时处理作业的运行状态、开始执行时间、结束执行时间等信息，以及进行如表1所示的操作。

图1 实时作业监控

表1 实时作业监控支持的操作项
支持的操作项	说明
根据“作业名称”、“责任人”、“CDM作业”或“节点类型”筛选作业	-
根据“运行状态”或“作业标签”筛选作业	-
批量配置作业	通过勾选作业名称前的复选框，支持批量执行操作（启动、停止、添加作业标签）。
查看作业实例状态	单击作业名称前方的，显示“最近的实例”页面，查看该作业最近的实例信息。
作业状态相关	在作业的“操作”列，支持作业级别的启动、暂停、恢复、停止调度、重跑、添加作业标签等。
添加作业标签	单击“添加作业标签”，弹出“添加作业标签”对话框进行配置。
查看作业的节点信息	单击作业名称，进入“作业监控”详情页面后，单击某个节点，查看该节点的相关关联作业/脚本与监控信息。说明：当作业中某个节点配置有事件驱动调度时，在单击此节点时会弹出子作业监控页面。
“禁用”和“恢复”节点	单击作业名称，进入“作业监控”详情页面后，右键单击某个节点选择“禁用”，禁用后可以再选择“恢复”，恢复运行时可以重新选择运行位置。详情请参见实时作业监控：禁用节点后恢复。
查看启动日志	单击作业名称，进入“作业监控”详情页面后，右键单击某个节点选择“查看启动日志”，您可以查看该节点的日志信息。
调度配置	单击作业名称，进入“作业监控”详情页面后，在“作业监控”详情页面中右键单击配置有事件驱动调度的节点，选择“调度配置”，您可以查看和修改节点的调度信息。详情请参见实时作业监控：事件驱动调度节点调度配置。
清除通道消息	单击作业名称，进入“作业监控”详情页面后，右键单击配置有事件驱动调度的节点，选择“清除通道消息”，您可以清除通道消息。
查看日志	对于Flink SQL和Flink JAR两种实时处理的单任务作业，作业运行完成后，可以通过“更多 > 查看日志”一键跳转到日志查看页面查看Flink作业日志。说明： MRS集群版本为不支持时，界面不显示查看日志，则系统不支持通过一键跳转查看日志。

单击作业名称，在打开的页面中查看该作业的作业参数、作业属性、作业实例。

单击作业的某个节点，可以查看节点属性、脚本内容、节点监控等信息。在节点监控页签，可以查看实时作业的运行日志。

同时，您可以查看当前作业版本、作业运行状态、启动、重跑、作业开发、是否显示指标监控、设置作业刷新频率等。

实时作业监控：禁用节点后恢复

您可以对实时作业中某个节点配置“禁用”后恢复运行，恢复运行时可以重新选择运行位置。

参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。
在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。
在数据开发主界面的左侧导航栏，选择“运维调度 > 作业监控”。
选择“实时作业监控”页签，单击作业名称。
进入“作业监控”详情页面后，右键单击节点，选择“禁用”。

设置禁用后，再右键单击选择“恢复”。弹出“恢复”对话框，配置如表2所示的参数。

图2 恢复操作

表2 恢复参数说明
参数	说明
上次暂停时间	节点暂停运行的起始时间。
未运行任务数	节点暂停期间没有运行的任务数量。
运行位置	“运行暂停期间任务”的参数。表示选择节点暂停运行后，恢复运行时的启动位置。从暂停节点开始运行从子作业第一个节点开始运行
处理并发数	“运行暂停期间任务”的参数。表示选择任务处理的数量。
任务名称	“运行暂停期间任务”的参数。表示恢复的任务名称。

实时作业监控：事件驱动调度节点调度配置

当您配置的实时作业中某个节点配置有事件驱动调度时，在“作业监控”详情页面中右键单击配置有事件驱动调度的节点，选择“调度配置”，可以查看和修改节点的调度信息。

参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。
在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。
在数据开发主界面的左侧导航栏，选择“运维调度 > 作业监控”。
选择“实时作业监控”页签，单击作业名称。

进入“作业监控”详情页面后，右键单击配置有事件驱动调度的节点，选择“调度配置”，配置如表3所示的参数。

图3 调度配置

表3 调度配策略参数说明
参数	说明
DIS通道名称	选择DIS通道，当指定的DIS通道有新消息时，数据开发模块将新消息传递给作业，触发该作业运行。
事件处理并发数	选择作业并行处理的数量，最大并发数为128。
事件检测间隔	配置事件检测时间间隔。时间间隔单位可以配置为秒或分钟。
失败策略	选择调度失败后的策略：结束调度忽略失败，读取下一个事件。

图4 DIS调度策略配置
点击放大

SQL复杂度

SQL复杂度查看支持实时处理单任务Flink SQL（包括MRS Flink SQL）作业。

SQL复杂度：系统会先自动统计SQL语句中的关键字，再折算为SQL复杂度。

统计SQL关键字。
SQL关键字个数=JOIN个数+GROUP BY个数+ORDER BY个数+DISTINCT个数+窗口函数个数+MAX((INSERT个数|UPDATE个数|DELETE个数), 1)。

如果SQL关键字个数远高于20，会导致解析消耗大量时间，且作业长期处于排队状态，建议您优化SQL，控制SQL关键字个数。
SQL复杂度计算。
- SQL关键字个数小于等于3，复杂度为1。
- SQL关键字个数小于等于6，且大于等于4，复杂度为1.5。
- SQL关键字个数小于等于19，且大于等于7，复杂度为2。
- SQL关键字个数大于等于20，复杂度为4。
SQL作业复杂度示例，以下述SQL为例。
```
SELECT DISTINCT total1 
  FROM(SELECT id1, 
              COUNT(f1) AS total1 
          FROM in1 
          GROUP BY id1
       ) tmp1
  ORDER BY total1 DESC 
  LIMIT 100;
```
其中：
- DISTINCT个数为1
- GROUP BY个数为1
- ORDER BY个数为1
- MAX((INSERT个数|UPDATE个数|DELETE个数), 1) = MAX(0|0|0, 1) = 1
- SQL关键字个数 = 1+1+1+1 = 4
由此可知，SQL关键字个数小于等于6，且大于等于4，复杂度为1.5，即SQL复杂度为1.5。