监控与运维数据流作业调度
本体集成提供数据流调度运维管理功能,用于统一管理数据流批处理作业,支持批作业的搜索、新建、编辑、发布、删除及调度状态监控。
数据流批作业每次执行都会生成一个运行实例,用于记录本次执行的状态、时间、节点详情、指标和日志。同一作业多次执行会产生多个独立实例,用户可按实例查看执行详情与指标数据,并通过实例日志定位异常。运行实例为作业监控、异常定位和历史追溯提供数据基础,是运维管理查看作业执行情况的主要对象。同时,支持对已发布数据流的调度进行启动和停止管理。
查看作业列表
- 登录数据智能平台。
- 在左侧导航栏单击,进入运维管理页面。 图1 作业列表
表1 作业信息表 字段
说明
名称
展示当前作业名称。
- 已发布的作业名称以超链接形式展示,单击可进入数据流批作业监控运维页面。
- 未发布的作业显示为灰色,不可单击进入数据流批作业监控运维页面。
描述
作业的简要描述信息,如“单次调度数据流”,无描述时显示“--”。
输入/输出节点
将鼠标悬浮在该列时,将弹出输入/输出节点信息浮窗,分别展示输入表和输出表的名称及数量,便于快速确认作业处理的数据源和目标。
版本
展示当前作业的当前版本。
执行策略
展示当前作业的运行方式。
- 单次调度:按指定时间触发一次数据流执行。
- 周期调度:按已设定的调度周期重复触发数据流执行。
数据流状态
表示数据流的发布状态。
调度状态
展示当前数据流作业的调度状态。
创建人
展示创建当前作业的用户ID。
调度周期
展示当前数据流作业的调度周期。
- 周期调度作业显示具体周期(如“1天”)。
- 单次调度作业显示“--”。
下次计划时间
下一次计划运行的时间。
- 周期调度作业显示具体时间点,例如:2026/06/27 00:00:00 GMT+08:00。
- 单次调度或已停止的作业显示“--”。
最后修改人
最后一次修改该作业的用户ID,默认与创建人相同,被他人修改过则不同。
上次实例状态
最近一次运行实例的结果。
- 绿色圆点表示运行成功。
- 红色圆点表示运行失败。
- 显示“--”表示无运行记录。
操作
提供“编辑”、“发布”、“删除”等操作入口。
- 编辑:在作业列表中找到目标作业,单击操作列的“编辑”,进入数据流可视化编排页面,修改作业的节点配置、调度策略等信息,修改后需重新发布生效。
- 发布:在作业列表中找到目标作业,单击操作列的“发布”,在发布确认窗口中进行确认,即可将作业发布为可调度状态,使其正式生效。
- 删除:在作业列表中找到目标作业,单击操作列的“删除”,在删除弹窗中进行删除确认。
在该页面,可按需执行以下操作:
- 筛选作业:支持在搜索框中直接输入关键字,或根据实际情况选择过滤条件进行筛选,也可在“调度状态”列后单击
筛选图标,选择筛选条件。结果列表将展示满足条件筛选的数据。 - 控制列隐藏/显示:单击搜索框后面的
控制列隐藏/显示图标,在弹窗中自定义表头,设置列表显示字段。 图2 控制列隐藏/显示
- 刷新列表数据:单击搜索框后面的
刷新图标,刷新列表数据。 - 更改排序:单击“名称”参数后的
,列表数据将按升序或降序排列。 - 查看作业最近一次运行实例结果:单击作业行左侧的
,展开该作业的最近运行实例信息,可在其操作列执行“查看日志”或“重跑”操作;展开后如需折叠,请单击
。 图3 查看作业最近一次运行实例
- 查看输入/输出节点悬浮信息:将鼠标悬浮在“输入/输出节点”列时,将弹出输入/输出节点信息浮窗。 图4 悬浮信息
- 查看调度作业运行情况:单击作业“名称”超链,打开数据流批作业的监控运维页面(详细请参见查看调度作业运行情况)。
- 新建数据流:在作业列表页面右上角提供数据流的新建入口。单击“新建批作业”,参考新建数据流并配置输入节点完成创建。 图5 新建批作业
- 批量删除作业:在作业列表中勾选多条后,在作业列表页面右上角“删除”,在删除弹窗中进行删除确认。单个作业删除可在目标作业操作列后单击“删除”完成。
已发布但未处于调度中的作业可执行删除操作。删除后,该作业及其关联数据将被永久移除且无法恢复,请谨慎操作。
查看调度作业运行情况
在作业列表中找到目标作业,单击作业“名称”超链接,即可打开数据流批作业的监控运维页面。该页面是用于查看单个批作业的运行状态、执行拓扑、历史实例记录及运行日志,帮助用户监控作业执行情况并快速定位故障。
如图6所示,运行详情页面分为四个区域:顶部控制栏、数据流拓扑图、数据流实例记录、实例日志。
| 序列 | 区域 | 说明 |
|---|---|---|
| 1 | 顶部控制栏 | 展示当前批作业的名称与运行状态,提供作业切换入口、执行调度、停止、编辑等操作入口,支持设置页面自动刷新频率。
|
| 2 | 数据流拓扑图 | 以可视化方式展示数据流的各节点执行情况,并支持设置“刷新频率”自动刷新页面,默认间隔15秒。 通过节点卡片,可获取以下信息。
|
| 3 | 数据流实例记录 | 展示该作业的历史执行记录,每次执行生成一条实例记录。 选中某条实例记录后,可在下方查看该实例的详细日志。 实例记录操作说明:
|
| 4 | 数据实例记录详情 | 展示选中实例的运行详情,包括实例日志、表信息和版本信息。
|
重跑实例
重跑实例用于重新执行某次运行实例。通过重跑,可在不修改作业配置的情况重新完成本次数据处理,快速恢复数据同步,且不影响作业的整体调度计划。请注意:重新执行的实例数据不可恢复,请谨慎操作。
- 在作业列表展开的最近实例中,单击操作列的“重跑”。 图7 最近实例
也可以在作业运维界面的实例记录表中,单击目标实例操作列的“重跑”。
图8 数据流实例记录
- 在弹出“重跑”弹窗中,配置重跑参数。 图9 选择重跑开始位置
- 使用作业参数:选择重跑时使用的参数版本。
表3 基本信息 选项
说明
最新作业内容和上次的实例参数
使用最新的作业定义,但沿用上次运行实例的参数值。
最新作业内容和参数
使用最新的作业定义和最新的参数。
- 重跑类型:选择“重跑当前实例”,重新执行当前实例。
- 重跑开始位置:选择重跑的起始节点。
表4 基本信息 选项
说明
从错误节点开始
从上次运行失败的节点开始重新执行,已成功的节点不再重复执行。
从开始节点执行
从头开始完整重新执行整个作业流程。
从指定节点开始
从用户指定的节点开始重新执行,需在下方选择目标节点。
如果选择“从指定节点开始”,在选择节点输入框中选择目标节点后,单击“确定”。可通过搜索框输入名称筛选节点。
图10 选择节点
- 使用作业参数:选择重跑时使用的参数版本。
- 配置完成后,单击“确定”。
系统将按配置提交重跑请求,原实例记录将被重新拉起,状态变为“运行中”。
如需放弃本次重跑操作,请单击“取消”或右上角
。
