# 实时作业监控 实时作业监控提供了对实时处理作业的状态进行监控的能力。 实时处理作业处理实时的连续数据，主要用于实时性要求高的场景。实时作业是由一个或多个节点组成的流水线，每个节点配置独立的、节点级别的调度策略，而且节点启动的任务可以永不下线。在实时作业里，带箭头的连线仅代表业务上的关系，而非任务执行流程，更不是数据流。 您可以在"作业监控 \> 实时作业监控"页面查看实时处理作业的运行状态、开始执行时间、结束执行时间等信息，以及进行如[表1]所示的操作。 图1实时作业监控 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000002296018393.png "点击放大") 表1实时作业监控支持的操作项 | 支持的操作项 | 说明 | |:---|:---| | 根据"作业名称"、"责任人"、"CDM作业"或"节点类型"筛选作业 | 勾选精确搜索，可以对作业名称进行精确搜索。 | | 根据"运行状态"或"作业标签"筛选作业 | - | | 批量配置作业 | 通过勾选作业名称前的复选框，支持批量执行操作（启动、停止、添加作业标签）。 | | 查看作业实例状态 | 单击作业名称前方的![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000001182784579.png)，显示"最近的实例"页面，查看该作业最近的实例信息。 | | 作业状态相关 | 在作业的"操作"列，支持作业级别的启动、停止、暂停、恢复、添加作业标签等。 说明： 进行作业暂停时，支持暂停后立即生效和下次生效两种。 立即生效：立即暂停当前作业实例，并且后续不再生成新的作业实例。 下次生效：当前作业实例继续运行，但后续不再生成新的作业实例。 | | 添加作业标签 | 单击"添加作业标签"，弹出"添加作业标签"对话框进行配置。 | | 查看作业的节点信息 | 单击作业名称，进入"作业监控"详情页面后，单击某个节点，查看该节点的关联作业/脚本与监控信息。 说明： 当作业中某个节点配置有事件驱动调度时，在单击此节点时会弹出子作业监控页面。 | | "禁用"和"恢复"节点 | 单击作业名称，进入"作业监控"详情页面后，右键单击某个节点选择"禁用"，禁用后可以再选择"恢复"，恢复运行时可以重新选择运行位置。详情请参见[实时作业监控：禁用节点后恢复]。 | | 查看启动日志 | 单击作业名称，进入"作业监控"详情页面后，右键单击某个节点选择"查看启动日志"，您可以查看该节点的日志信息。 | | 调度配置 | 单击作业名称，进入"作业监控"详情页面后，在"作业监控"详情页面中右键单击配置有事件驱动调度的节点，选择"调度配置"，您可以查看和修改节点的调度信息。详情请参见[实时作业监控：事件驱动调度节点调度配置]。 | | 清除通道消息 | 单击作业名称，进入"作业监控"详情页面后，右键单击配置有事件驱动调度的节点，选择"清除通道消息"，您可以清除通道消息。 | | 查看日志 | 对于Flink SQL和Flink JAR两种实时处理的单任务作业，作业运行完成后，可以通过"更多 \> 查看日志"一键跳转到日志查看页面查看Flink作业日志。 说明： MRS集群版本为不支持时，界面不显示查看日志，则系统不支持通过一键跳转查看日志。 | | 更多操作 | 更多 \> 添加作业标签，为Flink作业添加作业标签。 更多 \> 查看日志，查看Flink SQL和Flink JAR两种实时处理的单任务作业的运行日志。 更多 \> FlinkUI，当前节点未在运行中，则不能查看。 更多 \> 实时指标监控，队列所在的弹性资源池需要绑定Prometheus实例才支持跳转。 更多 \> 重跑，重跑实时作业。 更多 \> **触发保存点** ，仅作业处于运行中才支持触发保存点。单击作业名称进入后，也可以设置触发保存点，存储路径支持OBS和HDFS两种存储方式。保存点触发完成后，可以在状态集管理页面**查看保存点结果。** | 单击作业名称，在打开的页面中查看该作业的作业参数、作业属性、作业实例。 单击作业的某个节点，可以查看节点属性、脚本内容、节点监控、状态集管理、历史运行记录等信息。在节点监控页签，可以查看实时作业的运行日志。在历史运行记录页签，可以通过时间段进行筛选，以及通过作业节点状态进行筛选，在"操作"列，可以查看作业日志和实时指标监控。 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/public_sys-resources/note_3.0-zh-cn.png) - 查看历史运行记录仅支持MRS Flink、DLI Spark等作业类型。 - 历史运行记录仅保留最近180天的历史运行记录。 - MRS Flink作业，可以从状态集管理查看savepoint。状态集包含checkpoint和savepoint。状态集管理支持展示checkpoint信息和savepoint信息。最多保存最近的5个savepoint。 - MRS_3.3.0-LTS.0.1及后续版本支持重启集群后才能获取到checkpoint列表。 - MRS Flink查看savepoint列表依赖MRS管理面接口，去MRS管理面场景无法获取savepoint列表，则需要手动触发savepoint，启动功能可以正常使用。 - 当作业在数据开发没有查到最新checkpoint，但又希望从之前的checkpoint继续跑时，可以在历史运行记录中，查看日志，找到此前启动或者作业运行生成的checkpoint，指定checkpoint启动作业。单击作业名称进入后，单击作业节点图标，选择"历史运行记录"页签，在操作列查看日志，在日志里面找到此前启动或者作业运行生成的checkpoint，指定此checkpoint启动作业。 同时，您可以查看当前作业版本、作业运行状态、启动、重跑、编辑作业、是否显示指标监控、设置作业刷新频率等。 #### 实时作业监控：禁用节点后恢复 您可以对实时作业中某个节点配置"禁用"后恢复运行，恢复运行时可以重新选择运行位置。 1. [登录DataArts Studio管理控制台](https://console.huaweicloud.com/dayu/)。 详情请参考[访问DataArts Studio实例控制台](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0001.html)。 2. 在DataArts Studio控制台首页，选择对应工作空间的"数据开发"模块，进入数据开发页面。 3. 在数据开发主界面的左侧导航栏，选择"运维调度 \> 作业监控"。 4. 选择"实时作业监控"页签，单击作业名称。 5. 进入"作业监控"详情页面后，右键单击节点，选择"禁用"。 6. 设置禁用后，再右键单击选择"恢复"。弹出"恢复"对话框，配置如[表2]所示的参数。 图2恢复操作 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000001136545104.png "点击放大") 表2恢复参数说明 | 参数 | 说明 | |:---|:---| | 上次暂停时间 | 节点暂停运行的起始时间。 | | 未运行任务数 | 节点暂停期间没有运行的任务数量。 | | 运行位置 | "运行暂停期间任务"的参数。 表示选择节点暂停运行后，恢复运行时的启动位置。 - 从暂停节点开始运行 - 从子作业第一个节点开始运行 | | 处理并发数 | "运行暂停期间任务"的参数。 表示选择任务处理的数量。 | | 任务名称 | "运行暂停期间任务"的参数。 表示恢复的任务名称。 | #### 实时作业监控：事件驱动调度节点调度配置 当您配置的实时作业中某个节点配置有事件驱动调度时，在"作业监控"详情页面中右键单击配置有事件驱动调度的节点，选择"调度配置"，可以查看和修改节点的调度信息。 1. [登录DataArts Studio管理控制台](https://console.huaweicloud.com/dayu/)。 详情请参考[访问DataArts Studio实例控制台](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0001.html)。 2. 在DataArts Studio控制台首页，选择对应工作空间的"数据开发"模块，进入数据开发页面。 3. 在数据开发主界面的左侧导航栏，选择"运维调度 \> 作业监控"。 4. 选择"实时作业监控"页签，单击作业名称。 5. 进入"作业监控"详情页面后，右键单击配置有事件驱动调度的节点，选择"调度配置"，配置如[表3]所示的参数。 图3调度配置 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000001275515560.png "点击放大") 表3调度配置策略参数说明 | 参数 | 说明 | |:---|:---| | DIS通道名称 | 选择DIS通道，当指定的DIS通道有新消息时，数据开发模块将新消息传递给作业，触发该作业运行。 | | 事件处理并发数 | 选择作业并行处理的数量，最大并发数为128。 | | 事件检测间隔 | 配置事件检测时间间隔。时间间隔单位可以配置为秒或分钟。 | | 失败策略 | 选择调度失败后的策略： - 结束调度 - 忽略失败，读取下一个事件。 | 图4DIS调度策略配置 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/zh-cn_image_0000002296304185.png "点击放大") #### SQL复杂度 SQL复杂度查看支持实时处理单任务Flink SQL（包括MRS Flink SQL）作业。 SQL复杂度：系统会先自动统计SQL语句中的关键字，再折算为SQL复杂度。 - 统计SQL关键字。 SQL关键字个数=JOIN个数+GROUP BY个数+ORDER BY个数+DISTINCT个数+窗口函数个数+MAX((INSERT个数\|UPDATE个数\|DELETE个数), 1)。 ![](https://support.huaweicloud.com/usermanual-dataartsstudio/public_sys-resources/note_3.0-zh-cn.png) 如果SQL关键字个数远高于20，会导致解析消耗大量时间，且作业长期处于排队状态，建议您优化SQL，控制SQL关键字个数。 - SQL复杂度计算。 - SQL关键字个数小于等于3，复杂度为1。 - SQL关键字个数小于等于6，且大于等于4，复杂度为1.5。 - SQL关键字个数小于等于19，且大于等于7，复杂度为2。 - SQL关键字个数大于等于20，复杂度为4。 - SQL作业复杂度示例，以下述SQL为例。 ``` SELECT DISTINCT total1 FROM(SELECT id1, COUNT(f1) AS total1 FROM in1 GROUP BY id1 ) tmp1 ORDER BY total1 DESC LIMIT 100; ``` 其中： - DISTINCT个数为1 - GROUP BY个数为1 - ORDER BY个数为1 - MAX((INSERT个数\|UPDATE个数\|DELETE个数), 1) = MAX(0\|0\|0, 1) = 1 - SQL关键字个数 = 1+1+1+1 = 4 由此可知，SQL关键字个数小于等于6，且大于等于4，复杂度为1.5，即SQL复杂度为1.5。