补数据监控

场景描述

在DataArts Studio数据开发平台中，您的数据处理作业按天或按小时定时调度运行，持续为下游报表和分析系统提供数据。每个调度周期产出的数据都对应一个业务日期。

某次系统故障或数据源异常导致某几天的历史数据未正常产出。下游报表出现数据空洞，业务方急需补齐缺失的历史数据。您通过补数据功能发起了补数据任务，但这些任务涉及多个作业、多个日期周期，执行进度难以逐一追踪。同时，部分补数据实例可能因上游数据问题而失败，需要及时干预（停止、重跑等）。

相关概念

• 补数据：当历史调度周期内数据未正常产出时，通过补数据功能为指定日期范围重新生成作业实例并执行，以补齐缺失的历史数据。补数据生成的实例名称以P_前缀标识。
• 业务日期：补数据任务对应的数据所属日期，即需要补齐数据的日期。与实例的计划执行时间不同，业务日期表示数据本身的日期维度。
• 并行周期数：补数据任务中并行执行的调度周期数量。例如，补3天数据按天调度，并行周期数为3，表示3天的实例可并行执行（取决于作业是否有自依赖）。
• 补数据实例：通过补数据功能生成的作业实例，实例名称以P_前缀开头，用于与正常调度实例（N_前缀）区分。

功能操作

在数据开发模块控制台的左侧导航栏，选择“运维调度 > 补数据监控”，进入补数据的任务监控页面。

用户可以在图1的页面中，查看补数据的任务状态、业务日期、并行周期数、补数据作业名称、创建人、创建时间以及停止运行中的任务。

系统支持按补数据名称、创建人、日期和状态进行筛选。补数据监控仅展示最近6个月的数据。

图1 补数据监控主页

在图1的页面中，单击补数据名称，进入图2的页面。在此页面，用户可以查看补数据的任务执行情况，以及手动干预实例和节点的执行（如需了解更多，请参见批作业监控：补数据 ）。

图2 补数据监控详情

• 支持计划时间，开始时间，结束时间的排序，注意三者之间，同一时间只有其中一个当前排序有效。
• 排序按钮单击顺序为：单击1下为升序，单击2下为降序，单击3下取消排序。
• 在查看作业等待实例时，单击“操作 > 去除依赖”，可以去除对上游单个实例的依赖关系。
• 对于需要重跑补数据实例时，单击“操作 > 重跑”，可以对补数据实例进行重跑。
• 在补数据失败的情况下，单击“操作 > 停止”，补数据任务会停止。
• 补数据监控详情页面，每批补数据支持通过作业名称进行模糊筛选。
• 手工确认执行场景下，在进行补数据时，在补数据监控页面，补数据作业实例运行状态显示为“待确认执行”，可以进行手动确认执行，单击“确认执行”后，补数据作业实例运行状态显示为“等待运行”。
• 补数据监控支持批量停止补数据实例。对于状态为“等待运行”和“运行中”的补数据实例支持批量停止。

补数据任务状态

常见问题

• 如何集中监控所有补数据任务的执行状态，快速查看每个补数据任务包含的实例运行情况，并对异常实例进行停止、重跑等运维操作？

  DataArts Studio提供补数据监控功能，集中展示所有补数据任务的状态、业务日期、并行周期数等信息。支持按名称、创建人、日期和状态筛选，可进入详情页面查看具体实例执行情况并手动干预。

• 补数据监控中看不到某次补数据任务怎么办？

  可能原因有以下：

  1. 补数据任务创建时间超过6个月，系统不再展示。
  2. 筛选条件不匹配，请检查名称、创建人、日期和状态筛选条件是否正确。
  3. 补数据任务可能未成功创建，请回到作业开发页面确认补数据操作是否执行成功。
• 补数据实例失败后如何重新执行？

  在补数据监控详情页面，找到失败的补数据实例，单击“操作 > 重跑”可对该实例进行重跑。重跑后实例状态将变为“等待运行”，重新进入调度队列执行。

• 批量停止补数据实例时，哪些状态的实例可以停止？

  仅对状态为“等待运行”和“运行中”的补数据实例支持批量停止。已完成（成功/失败/取消）的实例无法停止。

• 补数据实例的"去除依赖"操作有什么作用？

  当补数据实例处于“等待运行”状态时，可能是因为等待上游实例完成。如果确认上游数据已就绪或不需要上游数据，可以单击“操作 > 去除依赖”去除对上游单个实例的依赖关系，使当前实例可以立即开始执行。