实时作业监控
实时作业监控提供了对实时处理作业的状态进行监控的能力。
实时处理作业处理实时的连续数据,主要用于实时性要求高的场景。实时作业是由一个或多个节点组成的流水线,每个节点配置独立的、节点级别的调度策略,而且节点启动的任务可以永不下线。在实时作业里,带箭头的连线仅代表业务上的关系,而非任务执行流程,更不是数据流。
您可以在“作业监控 > 实时作业监控”页面查看实时处理作业的运行状态、开始执行时间、结束执行时间等信息,以及进行如表1所示的操作。
序号 |
支持的操作项 |
说明 |
---|---|---|
1 |
根据“作业名”或“责任人名”搜索作业 |
- |
2 |
根据“运行状态”或“作业标签”筛选作业 |
- |
3 |
批量配置作业 |
通过勾选作业名称前的复选框,支持批量执行操作。 |
4 |
查看作业实例状态 |
单击作业名称前方的,显示“最近的实例”页面,查看该作业最近的实例信息。 |
5 |
作业状态相关 |
在作业的“操作”列,支持作业级别的启动、暂停、恢复、停止调度等。 |
6 |
添加作业标签 |
在作业的“操作”列,选择 ,弹出 对话框进行配置。 |
7 |
查看作业的节点信息 |
单击作业名称,进入“作业监控”详情页面后,单击某个节点,查看该节点的相关关联作业/脚本与监控信息。
说明:
当作业中某个节点配置有事件驱动调度时,在单击此节点时会弹出子作业监控页面。 |
8 |
“禁用”和“恢复”节点 |
单击作业名称,进入“作业监控”详情页面后,右键单击某个节点选择“禁用”,禁用后可以再选择“恢复”,恢复运行时可以重新选择运行位置。详情请参见实时作业监控:禁用节点后恢复。 |
9 |
查看启动日志 |
单击作业名称,进入“作业监控”详情页面后,右键单击某个节点选择“查看启动日志”,您可以查看该节点的日志信息。 |
10 |
调度配置 |
单击作业名称,进入“作业监控”详情页面后,在“作业监控”详情页面中右键单击配置有事件驱动调度的节点,选择“调度配置”,您可以查看查看和修改节点的调度信息。详情请参见实时作业监控:事件驱动调度节点调度配置。 |
11 |
子作业监控 |
单击作业名称,进入“作业监控”详情页面后,单击配置有事件驱动调度的节点,查看子作业监控页面。详情请参见实时作业监控:子作业监控。 |
12 |
清除通道消息 |
单击作业名称,进入“作业监控”详情页面后,右键单击配置有事件驱动调度的节点,选择“清除通道消息”,您可以清除通道消息。 |
实时作业监控:禁用节点后恢复
您可以对实时作业中某个节点配置“禁用”后恢复运行,恢复运行时可以重新选择运行位置。
- 登录DataArts Studio控制台。选择实例,点击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。
图2 选择数据开发
- 在数据开发主界面的左侧导航栏,选择 。
- 选择“实时作业监控”页签,单击作业名称。
- 进入“作业监控”详情页面后,右键单击节点,选择“禁用”。
- 设置禁用后,再右键单击选择“恢复”。弹出“恢复”对话框,配置如表2所示的参数。
实时作业监控:事件驱动调度节点调度配置
当您配置的实时作业中某个节点配置有事件驱动调度时,在“作业监控”详情页面中右键单击配置有事件驱动调度的节点,选择“调度配置”,可以查看和修改节点的调度信息。
- 登录DataArts Studio控制台。选择实例,点击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。
图3 选择数据开发
- 在数据开发主界面的左侧导航栏,选择 。
- 选择“实时作业监控”页签,单击作业名称。
- 进入“作业监控”详情页面后,右键单击配置有事件驱动调度的节点,选择“调度配置”,配置如表3所示的参数。
图4 调度配置
实时作业监控:子作业监控
当用户配置的作业中某个节点配置有事件调度时,单击此节点可以查询子作业监控。在“子作业监控”页面可以对子作业设置停止、重跑、继续执行、强制成功、查看事件内容等操作。
- 登录DataArts Studio控制台。选择实例,点击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。
图5 选择数据开发
- 在数据开发主界面的左侧导航栏,选择 。
- 选择“实时作业监控”页签,单击作业名称。
- 进入“作业监控”详情页面后,单击配置有事件调度的节点。
在“子作业监控”页面的“操作”列,提供如表4所示的操作。
- 单击“子作业监控”页面“状态”列下方的,显示该子作业节点的运行记录。
在节点的“操作”列,提供如表5所示的操作。
表5 操作(节点) 操作项
说明
查看日志
查看节点的日志信息。
更多 > 手工重试
节点的状态为“失败”时,支持重新运行节点。
说明:只有节点的 设置为“挂起当前作业执行计划”时,才可以执行该操作。
更多 > 强制成功
节点的状态为“失败”时,支持将该节点强制变更为“成功”状态,且实例监控中作业实例的状态显示为“强制成功”。
说明:只有节点的 设置为“挂起当前作业执行计划”时,才可以执行该操作。
更多 > 跳过
节点的状态为“待运行”或“已暂停节点”时,支持跳过该节点。
更多 > 暂停
节点的状态为“待运行”时,支持暂停运行该节点,该暂停节点的后续节点将会被阻塞。
更多 > 恢复
节点的状态为“已暂停”时,支持恢复运行该节点。