更新时间:2026-11-03 GMT+08:00
分享

监控与运维数据流作业调度

本体集成提供数据流调度运维管理功能,用于统一管理数据流批处理作业,支持批作业的搜索、新建、编辑、发布、删除及调度状态监控。

数据流批作业每次执行都会生成一个运行实例,用于记录本次执行的状态、时间、节点详情、指标和日志。同一作业多次执行会产生多个独立实例,用户可按实例查看执行详情与指标数据,并通过实例日志定位异常。运行实例为作业监控、异常定位和历史追溯提供数据基础,是运维管理查看作业执行情况的主要对象。同时,支持对已发布数据流的调度进行启动和停止管理。

查看作业列表

  1. 登录数据智能平台。
  2. 在左侧导航栏单击“本体 > 本体集成 > 运维管理”,进入运维管理页面。

    图1 作业列表
    表1 作业信息表

    字段

    说明

    名称

    展示当前作业名称。

    • 已发布的作业名称以超链接形式展示,单击可进入数据流批作业监控运维页面。
    • 未发布的作业显示为灰色,不可单击进入数据流批作业监控运维页面。

    描述

    作业的简要描述信息,如“单次调度数据流”,无描述时显示“--”。

    输入/输出节点

    将鼠标悬浮在该列时,将弹出输入/输出节点信息浮窗,分别展示输入表和输出表的名称及数量,便于快速确认作业处理的数据源和目标。

    版本

    展示当前作业的当前版本。

    执行策略

    展示当前作业的运行方式。

    • 单次调度:按指定时间触发一次数据流执行。
    • 周期调度:按已设定的调度周期重复触发数据流执行。

    数据流状态

    表示数据流的发布状态。

    调度状态

    展示当前数据流作业的调度状态。

    创建人

    展示创建当前作业的用户ID。

    调度周期

    展示当前数据流作业的调度周期。

    • 周期调度作业显示具体周期(如“1天”)。
    • 单次调度作业显示“--”。

    下次计划时间

    下一次计划运行的时间。

    • 周期调度作业显示具体时间点,例如:2026/06/27 00:00:00 GMT+08:00。
    • 单次调度或已停止的作业显示“--”。

    最后修改人

    最后一次修改该作业的用户ID,默认与创建人相同,被他人修改过则不同。

    上次实例状态

    最近一次运行实例的结果。

    • 绿色圆点表示运行成功。
    • 红色圆点表示运行失败。
    • 显示“--”表示无运行记录。

    操作

    提供“编辑”、“发布”、“删除”等操作入口。

    • 编辑:在作业列表中找到目标作业,单击操作列的“编辑”,进入数据流可视化编排页面,修改作业的节点配置、调度策略等信息,修改后需重新发布生效。
    • 发布:在作业列表中找到目标作业,单击操作列的“发布”,在发布确认窗口中进行确认,即可将作业发布为可调度状态,使其正式生效。
    • 删除:在作业列表中找到目标作业,单击操作列的“删除”,在删除弹窗中进行删除确认。

    在该页面,可按需执行以下操作:

    • 筛选作业:支持在搜索框中直接输入关键字,或根据实际情况选择过滤条件进行筛选,也可在“调度状态”列后单击筛选图标,选择筛选条件。结果列表将展示满足条件筛选的数据。
    • 控制列隐藏/显示:单击搜索框后面的控制列隐藏/显示图标,在弹窗中自定义表头,设置列表显示字段。
      图2 控制列隐藏/显示
    • 刷新列表数据:单击搜索框后面的刷新图标,刷新列表数据。
    • 更改排序:单击“名称”参数后的,列表数据将按升序或降序排列。
    • 查看作业最近一次运行实例结果:单击作业行左侧的,展开该作业的最近运行实例信息,可在其操作列执行“查看日志”或“重跑”操作;展开后如需折叠,请单击 。
      图3 查看作业最近一次运行实例
    • 查看输入/输出节点悬浮信息:将鼠标悬浮在“输入/输出节点”列时,将弹出输入/输出节点信息浮窗。
      图4 悬浮信息
    • 查看调度作业运行情况:单击作业“名称”超链,打开数据流批作业的监控运维页面(详细请参见查看调度作业运行情况)。
    • 新建数据流:在作业列表页面右上角提供数据流的新建入口。单击“新建批作业”,参考新建数据流并配置输入节点完成创建。
      图5 新建批作业
    • 批量删除作业:在作业列表中勾选多条后,在作业列表页面右上角“删除”,在删除弹窗中进行删除确认。单个作业删除可在目标作业操作列后单击“删除”完成。

      已发布但未处于调度中的作业可执行删除操作。删除后,该作业及其关联数据将被永久移除且无法恢复,请谨慎操作。

查看调度作业运行情况

在作业列表中找到目标作业,单击作业“名称”超链接,即可打开数据流批作业的监控运维页面。该页面是用于查看单个批作业的运行状态、执行拓扑、历史实例记录及运行日志,帮助用户监控作业执行情况并快速定位故障。

图6 数据流批作业监控运维页面

如图6所示,运行详情页面分为四个区域:顶部控制栏、数据流拓扑图、数据流实例记录、实例日志。

表2 各区域说明

序列

区域

说明

1

顶部控制栏

展示当前批作业的名称与运行状态,提供作业切换入口、执行调度、停止、编辑等操作入口,支持设置页面自动刷新频率。

  • 任务名称:显示当前批作业名称,支持通过下拉箭头切换其他作业。
  • 状态标签:显示作业类型(批作业)和运行状态(运行中/已停止)。
  • 执行调度:手动触发当前作业执行。仅“已发布”作业或作业处于“已停止”状态时才可执行。
  • 停止:用于停止“调度中”状态的作业,支持两种生效方式。

    立即停止表示立即停止当前作业实例,后续不再生成新实例,下次生效则表示当前实例继续运行完成,后续不再生成新实例。

  • 编辑:跳转至数据流编排页面,修改作业配置。

2

数据流拓扑图

以可视化方式展示数据流的各节点执行情况,并支持设置“刷新频率”自动刷新页面,默认间隔15秒。

通过节点卡片,可获取以下信息。

  • 节点:显示节点名称、图标和字段数(列数)。
  • 节点状态:包括成功、失败、运行中。
  • 运行耗时:显示每个节点的执行时间。
  • 数据统计:显示有效行数/总行数。

3

数据流实例记录

展示该作业的历史执行记录,每次执行生成一条实例记录。

选中某条实例记录后,可在下方查看该实例的详细日志。

实例记录操作说明:

  • 停止:针对“运行中”的实例,在其操作列单击“停止”,该实例将被终止,状态更新为“已取消”。
  • 重跑:在实例操作列单击“重跑”,重新执行当前实例。重跑参数的详细配置请参见重跑实例。

4

数据实例记录详情

展示选中实例的运行详情,包括实例日志、表信息和版本信息。

  • 实例日志:按时间戳展示详细的运行日志,包括任务启动、节点执行、错误信息等
  • 表信息:展示输入输出节点的表结构和字段映射信息。
  • 版本信息:展示当前数据流的版本变更记录。

重跑实例

重跑实例用于重新执行某次运行实例。通过重跑,可在不修改作业配置的情况重新完成本次数据处理,快速恢复数据同步,且不影响作业的整体调度计划。请注意:重新执行的实例数据不可恢复,请谨慎操作。

  1. 在作业列表展开的最近实例中,单击操作列的“重跑”。

    图7 最近实例

    也可以在作业运维界面的实例记录表中,单击目标实例操作列的“重跑”。

    图8 数据流实例记录

  2. 在弹出“重跑”弹窗中,配置重跑参数。

    图9 选择重跑开始位置
    • 使用作业参数:选择重跑时使用的参数版本。
      表3 基本信息

      选项

      说明

      最新作业内容和上次的实例参数

      使用最新的作业定义,但沿用上次运行实例的参数值。

      最新作业内容和参数

      使用最新的作业定义和最新的参数。

    • 重跑类型:选择“重跑当前实例”,重新执行当前实例。
    • 重跑开始位置:选择重跑的起始节点。
      表4 基本信息

      选项

      说明

      从错误节点开始

      从上次运行失败的节点开始重新执行,已成功的节点不再重复执行。

      从开始节点执行

      从头开始完整重新执行整个作业流程。

      从指定节点开始

      从用户指定的节点开始重新执行,需在下方选择目标节点。

      如果选择“从指定节点开始”,在选择节点输入框中选择目标节点后,单击“确定”。可通过搜索框输入名称筛选节点。

      图10 选择节点

  3. 配置完成后,单击“确定”。

    系统将按配置提交重跑请求,原实例记录将被重新拉起,状态变为“运行中”。

    如需放弃本次重跑操作,请单击“取消”或右上角。

相关文档