文档首页/ 数据治理中心 DataArts Studio/ 用户指南/ 数据开发/ 作业开发/ 调度作业
更新时间：2024-09-09 GMT+08:00
查看PDF
分享

调度作业

对已编排好的作业设置调度方式。

  • 如果您的作业是批处理作业，您可以配置作业级别的调度任务，即以作业为一个整体进行调度，支持单次调度、周期调度、事件驱动调度三种调度方式。具体请参见配置作业调度任务（批处理作业）。
  • 如果您的作业是实时处理作业，您可以配置节点级别的调度任务，即每一个节点可以独立调度，支持单次调度、周期调度、事件驱动调度三种调度方式。具体请参见配置节点调度任务（实时作业）。

前提条件

约束限制

  • 调度周期需要合理设置，单个作业最多允许5个实例并行执行，如果作业实际执行时间大于作业配置的调度周期，会导致后面批次的作业实例堆积，从而出现计划时间和开始时间相差大。例如CDM、ETL作业的调度周期至少应在5分钟以上，并根据作业表的数据量、源端表更新频次等调整。
  • 如果通过DataArts Studio数据开发调度CDM迁移作业，CDM迁移作业处也配置了定时任务，则两种调度均会生效。为了业务运行逻辑统一和避免调度冲突，推荐您启用数据开发调度即可，无需配置CDM定时任务。

配置作业调度任务（批处理作业）

配置批处理作业的作业调度任务，支持单次调度、周期调度、事件驱动调度三种方式。操作方法如下：

单击画布右侧“调度配置”页签，展开配置页面，配置如表1所示的参数。

表1 作业调度配置

参数

说明

调度方式

选择作业的调度方式：

  • 单次调度：手动触发作业单次运行。
  • 周期调度：周期性自动运行作业，参数说明请参见表2。
    • 需要人工确认才执行：勾选后，需要人工确认执行后，作业实例才能够运行。如果不进行人工确认，影响后续作业实例执行。
      说明：

      作业实例运行场景下，在实例监控页面，作业实例运行状态显示为“待确认执行”，可以进行手动确认执行，单击“确认执行”后，作业实例运行状态显示为“等待运行”。

      重跑实例时，作业实例运行状态显示为“待确认执行”，可以进行手动确认执行，单击“确认执行”后，作业实例运行状态显示为“等待运行”。

      补数据场景下，在补数据监控页面，补数据作业实例运行状态显示为“待确认执行”，可以在实例监控页面进行手动确认执行，单击“确认执行”后，补数据作业实例运行状态显示为“等待运行”。

      批作业监控场景下，在批作业监控页面，作业实例运行状态显示为“待确认执行”，可以进行手动确认执行，单击“确认执行”后，作业实例运行状态显示为“等待运行”。

  • 事件驱动调度：根据外部条件触发作业运行，参数说明请参见表3。具体使用教程可参见跨空间进行作业调度。

是否空跑

如果勾选了空跑，任务不会实际执行，将直接返回成功。

任务组

选择已配置好的任务组。配置方法请参见配置任务组。

系统默认“不选择任务组”。

任务组配置好后，可以更细粒度的进行当前任务组中的作业节点的并发数控制，比如作业中包含多个节点、补数据、重跑等场景。

举例1：任务组里面最大并发数配置为2，作业节点有5个，当作业运行时，只有两个节点在运行中，其它节点在等待运行。

举例2：任务组里面最大并发数配置为2，补数据的并发周期数设置为5，当作业进行补数据时，有两个补数据生成的作业实例在运行中，其它的在等待运行。等待运行的实例，一段时间后，可以正常下发。

举例3：如果多个作业配置同一个任务组，任务组里面最大并发数配置为2，只有两个作业是运行中，其他作业在等待执行。如果多个作业节点上配置了任务组，任务组里面最大并发数配置为2，作业节点总共有5个，根据作业调度时间，只有两个节点在运行中，其它节点在等待运行。

说明：

对于Pipeline作业，每个节点都可以配置一个任务组，也可以在作业里面统一配置任务组，如果配置了作业级用户组，则优先级高于节点的任务组。
表2 “周期调度”的参数配置

参数

说明

生效时间

调度任务的生效时间段。

系统支持生效时间可以快速选到今天和明天。单击生效时间的时间框，在时间框界面单击“今天”或“明天”，可以快速选择当前日期。

调度周期

选择调度任务的执行周期，并配置相关参数。

调度周期需要合理设置，单个作业最多允许5个实例并行执行，如果作业实际执行时间大于作业配置的调度周期，会导致后面批次的作业实例堆积，从而出现计划时间和开始时间相差大。例如CDM、ETL作业的调度周期至少应在5分钟以上，并根据作业表的数据量、源端表更新频次等调整。

已经在运行中的作业，可以修改其调度周期。

  • 分钟：支持在小时整点开始调度运行，调度周期可按间隔时间配置为分钟级别，在当天结束时间结束调度后第二天再自动开始调度。
    说明：

    调度周期选择“分钟”时，系统不支持按照配置的时间间隔固定频率去运行，即不支持跨小时按照固定频率去运行。举例如下：

    • 2024年6月19日14点20分配置了分钟调度，开始时间为0时30分，间隔时间为30分钟，结束时间为23时59分，则实际作业运行时间周期为2024-06-19 14:30:00、2024-06-19 15:30:00、2024-06-19 16:30:00、2024-06-19 17:30:00、2024-06-18 18:30:00等。
    • 2024年6月19日14点20分配置了分钟调度，开始时间为0时0分，间隔时间为50分钟，结束时间为23时59分，则实际作业运行时间周期为2024-06-19 14:50:00、2024-06-19 15:00:00、2024-06-19 15:50:00、2024-06-19 16:00:00、2024-06-19 16:50:00、2024-06-19 17:00:00、2024-06-19 17:50:00等。
  • 小时：支持按间隔小时配置调度周期，在某一时刻开始调度运行，调度周期可按间隔时间配置为小时级别，在当天结束时间结束调度后第二天再自动开始调度。同时支持按离散小时进行调度周期配置，可以指定一天内的任意小时和分钟进行调度，离散小时调度仅支持自然周期调度。
  • 天：支持在某天的某一时刻开始调度运行，调度周期为1天。
  • 周：支持在一周中选择一天或多天的某一时刻开始调度运行。
  • 月：支持在一月中选择一天或多天的某一时刻开始调度运行。同时系统支持可以选择“每月最后一天”进行业务调度。
说明：

因为DataArts Studio不支持底层服务（例如，以前的CDM、DLI等服务）的补数据实例和周期调度作业实例并发运行，为了保证补数据实例不影响周期调度作业实例运行，两种类型作业实例不会抢占并发，所以，作业的周期调度的日期与该作业补数据的业务日期不能重合，周期调度和补数据不能同时运行，避免出现运行异常问题。

调度日历

根据已配置的日历信息，选择所需的调度日历。系统默认不使用调度日历。配置调度日历的操作请参见配置调度日历。

  • 使用按日历进行自定义工作日期进行周期调度，如果非工作日，作业会进行空跑。例如作业周期调度、补数据。
  • 配置好的调度日历，如果工作日期进行变更，已经在执行的作业实例无法生效，还没生成的作业实例可以立即生效。

监听OBS

打开监听OBS开关后，系统会自动监听OBS路径是否有新作业文件。关闭开关后不再监听OBS路径。

配置参数如下：

  • OBS文件，支持EL表达式。
  • 监听间隔，可设置为1-60之间，单位为分钟。
  • 超时时间，可设置为1-1440之间，单位为分钟。

偏移量

偏移量的单位为天。

输入偏移量的值。输入值必须在-366到366之间。默认为1。

当工作空间模式为业务日期模式时，偏移量设置为1时，则表示处理的是昨天的业务数据，偏移量设置为-1时，则表示处理的是明天的业务数据，偏移量设置为0时，则表示处理的是今天的业务数据。

业务日期模式下，作业实例的生效时间是业务日期，如果作业偏移量为-1，作业在调度时间为6月7日的时候，会生成业务日期为6月8日的作业实例。

说明：
  • 在工作空间模式为业务日期模式时，修改偏移量时，系统会提示“在工作空间模式为业务日期模式时，修改偏移量会影响作业调度的业务日期时间，确认修改吗？”，单击“确认”，进行偏移量修改。如果将作业的偏移量从0修改为1，从作业的调度计划时间看，某一天的实例可能会跳过；如果将作业的偏移量从0修改为-1，从作业的调度计划时间看，某一天的实例可能会重叠。
  • 修改偏移量，仅修改当前目录下的作业偏移量，子目录里面的作业不会进行修改。
  • 同一个翻牌目录的作业，偏移量需要保持一致。
  • 在工作空间模式为普通模式时，修改偏移量，对作业自身的实例生成没有影响。如果这个作业下游有业务日期工作空间的作业，才会影响作业的依赖关系。
  • 上下游作业偏移量相同场景下，作业实例运行时间相同。上下游作业偏移量不同场景下，下游作业偏移量为0，上游作业偏移量为1时，上游作业实例运行时间比下游作业实例运行时间早一天。

依赖作业

此处可以选择不同工作空间的周期调度作业作为依赖作业，则仅当依赖的作业运行完成时，才开始执行当前作业。支持单击“自动解析依赖”对作业依赖关系进行自动识别。

说明：

跨工作空间的作业依赖规则，请参见作业依赖规则。

数据开发当前支持两种调度依赖策略：传统周期调度依赖和自然周期调度依赖。这两种周期调度依赖只能选择其中一种。对于新的应用实例而言，默认使用自然周期调度作为DataArts Studio新实例默认选项。

图1 传统周期调度作业依赖关系全景图
图2 自然周期调度作业依赖关系全景图

关于设置依赖作业的条件，以及设置依赖作业后的作业运行原理请参见周期调度依赖策略。

依赖的作业失败后，当前作业处理策略

当依赖的作业在当前作业周期内存在运行失败实例后，选择当前作业的处理策略：

  • 等待执行

    等待执行当前作业，等待执行的作业会阻塞后续作业的执行。您可以手动将依赖的作业强制成功，解决阻塞问题。

  • 继续执行

    继续执行当前作业。

  • 取消执行

    取消执行当前作业，当前作业的状态为“取消”。

例如，当前作业调度周期为1小时， 依赖作业调度周期为5分钟。
  • 如果当前参数配置的是取消执行，依赖的作业12个实例中只要有一个失败的，当前作业就取消执行。
  • 如果当前参数配置的是继续执行，只要依赖的作业12个实例跑完了，当前作业就继续执行。
    说明：

    依赖的作业失败后，当前作业处理策略可通过配置默认项进行批量设置，无需每个作业单独设置。具体请参见配置默认项。该配置仅对新建作业有效。

等待依赖作业的上一周期结束，才能运行

当作业依赖其他作业时，默认情况下等待某时间区间（详见设置依赖作业后的作业运行原理）内是否有依赖的作业实例运行完成，然后才执行当前作业。如果依赖的作业实例未成功运行结束，则当前作业为等待运行状态。

当勾选此选项后，检查此时间区间的上一周期区间内是否有作业实例运行完，然后再执行当前作业。

配置作业依赖时，可以对所依赖的作业是否在调度中进行过滤

配置作业依赖关系时，可以对所依赖的作业是否在调度中进行过滤，避免上游依赖的作业未开始调度，从而导致下游作业失败。

  • 全部作业
  • 调度中的作业

配置作业依赖时，支持选择依赖周期
  • 同周期
  • 上N周期，输入值必须在1到30之间。
    说明：
    • 天作业依赖间隔小时作业时，上一周期依赖关系支持“所有实例”、“任意实例”、“最后一个实例”和“默认”四种依赖规则。“默认”表示之前的调度依赖关系规则保持不变。
    • 天作业依赖离散小时作业时，上一周期依赖关系支持“所有实例”、“任意实例”、“最后一个实例”和“默认”四种依赖规则。“默认”表示之前的调度依赖关系规则保持不变。
    • 其余的调度周期作业依赖关系保持不变，依赖规则系统显示“默认”。

跨周期依赖

选择作业实例之间的依赖关系。

  • 不依赖上一调度周期。此处可以配置并发数，表示多个作业实例并行执行的个数。如果并发数配置为1，前一个批次执行完成后(包括成功、取消、或失败)，下一批次才开始执行。
  • 自依赖（上一调度周期的作业实例执行成功下一周期才会执行，否则处于等待运行状态。等待上一调度周期结束才能继续运行）。
  • 跳过等待的实例，运行最近的批次（如果勾选该参数，跳过的作业实例将被置为取消状态且不再执行，当单作业实例执行时间过长时，可能会造成后续多批次作业全部被跳过。当作业实例需要持续执行时，强行跳过可能会造成业务逻辑错误，如当输出为分区表时，跳过冗余作业实例可能会造成“分区空洞”，建议谨慎配置此选项）。
    说明：
    • “跳过等待的实例，运行最近的批次”当前只支持分钟或小时调度的作业实例跳过。
    • 作业并发数配置比较低，实例未生成情况下，阻塞实例不会跳过。
    • 小周期依赖大周期时，可能会存在部分实例没有跳过，仍然执行。

是否清理超期等待运行的作业实例
  • 不清理
  • 清理

    若不配置该参数，默认会按照空间级配置来清理超期的等待运行作业实例。用户可根据实际场景设置清理或者不清理等待运行的作业实例。

是否空跑

如果勾选了空跑，任务不会实际执行，将直接返回成功。

任务组

选择已配置好的任务组。配置方法请参见配置任务组。

系统默认“不选择任务组”。

任务组配置好后，可以更细粒度的进行当前任务组中的作业节点的并发数控制，比如作业中包含多个节点、补数据、重跑等场景。

说明：

对于Pipeline作业，每个节点都可以配置一个任务组，也可以在作业里面统一配置任务组，如果配置了作业级用户组，则优先级高于节点的任务组。
表3 “事件驱动调度”的参数配置

参数

说明

触发事件类型

选择触发作业运行的事件类型。

  • “DIS”
  • “KAFKA”
  • “OBS”

“DIS”触发事件类型的参数

DIS通道名称

选择DIS通道，当指定的DIS通道有新消息时，数据开发模块将新消息传递给作业，触发该作业运行。

事件处理并发数

选择作业并行处理的数量，最大并发数为128。

事件检测间隔

配置时间间隔，检测DIS通道下是否有新的消息。时间间隔单位可以配置为秒或分钟。

读取策略

选择数据的读取位置：

  • 从上次位置读取：首次启动时，从最新的位置读取数据。后续启动时，则从前一次记录的位置读取数据。
  • 从最新位置读取：每次启动都会从最新的位置读取数据。

失败策略

选择调度失败后的策略：

  • 挂起
  • 忽略失败，读取下一个事件

是否空跑

如果勾选了空跑，任务不会实际执行，将直接返回成功。

任务组

选择已配置好的任务组。配置方法请参见配置任务组。

系统默认“不选择任务组”。

任务组配置好后，可以更细粒度的进行当前任务组中的作业节点的并发数控制，比如作业中包含多个节点、补数据、重跑等场景。

说明：

对于Pipeline作业，每个节点都可以配置一个任务组，也可以在作业里面统一配置任务组，如果配置了作业级用户组，则优先级高于节点的任务组。

“KAFKA”触发事件类型的参数

连接名称

选择数据连接，需先在“管理中心”创建kafka数据连接。

Topic

选择需要发往kafka的消息Topic。

事件处理并发数

选择作业并行处理的数量，最大并发数为128。

事件检测间隔

配置时间间隔，检测通道下是否有新的消息。时间间隔单位可以配置为秒或分钟。

读取策略

选择数据的读取位置：

  • 从上次位置读取：首次启动时，从最新的位置读取数据。后续启动时，则从前一次记录的位置读取数据。
  • 从最新位置读取：每次启动都会从最新的位置读取数据。

失败策略

选择调度失败后的策略：

  • 挂起
  • 忽略失败，读取下一个事件

是否空跑

如果勾选了空跑，任务不会实际执行，将直接返回成功。

任务组

选择已配置好的任务组。配置方法请参见配置任务组。

系统默认“不选择任务组”。

任务组配置好后，可以更细粒度的进行当前任务组中的作业节点的并发数控制，比如作业中包含多个节点、补数据、重跑等场景。

说明：

对于Pipeline作业，每个节点都可以配置一个任务组，也可以在作业里面统一配置任务组，如果配置了作业级用户组，则优先级高于节点的任务组。

“OBS”触发事件类型的参数（当前仅上海二区域支持）

说明：

“OBS”触发事件类型的事件驱动调度，依赖于OBS的“事件通知 -> DIS通知”功能，由于OBS该功能在华为云暂未正式上线，因此当前暂时无法使用OBS触发事件类型。

OBS路径

选择要监听的OBS路径。如果该路径下有您在OBS控制台配置的指定OBS事件产生，通知则触发调度。

DIS通道名称

选择DIS通道，当指定的DIS通道有新消息时，数据开发模块将新消息传递给作业，触发该作业运行。

最大处理文件数

节点被驱动运行时，每批次最多可处理的文件数。

事件处理并发数

选择作业并行处理的数量，最大并发数为128。

事件检测间隔

配置时间间隔，检测OBS路径下是否有指定事件产生。时间间隔单位可以配置为秒或分钟。

失败策略

选择调度失败后的策略：

  • 挂起
  • 忽略失败，读取下一个事件

是否空跑

如果勾选了空跑，任务不会实际执行，将直接返回成功。

任务组

选择已配置好的任务组。配置方法请参见配置任务组。

系统默认“不选择任务组”。

任务组配置好后，可以更细粒度的进行当前任务组中的作业节点的并发数控制，比如作业中包含多个节点、补数据、重跑等场景。

说明：

对于Pipeline作业，每个节点都可以配置一个任务组，也可以在作业里面统一配置任务组，如果配置了作业级用户组，则优先级高于节点的任务组。

配置节点调度任务（实时作业）

配置实时处理作业的节点调度任务，支持单次调度、周期调度、事件驱动调度三种方式。操作方法如下：

单击画布中的节点，在右侧显示“调度配置”页签，单击此页签，展开配置页面，配置如表4所示的参数。

表4 节点调度配置

参数

说明

调度方式

选择作业的调度方式：

  • 单次调度：手动触发作业单次运行。
  • 周期调度：周期性自动运行作业。
  • 事件驱动调度：根据外部条件触发作业运行。

“周期调度”的参数

生效时间

调度任务的生效时间段。

调度周期

选择调度任务的执行周期，并配置相关参数：

  • 分钟
  • 小时
  • 天
  • 周
  • 月

调度周期需要合理设置，如CDM、ETL作业的调度周期至少应在5分钟以上，并根据作业表的数据量、源端表更新频次等调整。

已经在运行中的作业，可以修改其调度周期。

跨周期依赖

选择作业下实例之间的依赖关系。

  • 不依赖上一调度周期

    选择“并发数”。多个作业实例并行执行的个数。如果并发数配置为1，前一个批次执行完成后（包括成功、取消、或失败），下一批次才开始执行。

  • 自依赖（上一调度周期的作业实例执行成功下一周期才会执行，否则处于等待运行状态。）

“事件驱动调度”的参数

触发事件类型

选择触发作业运行的事件类型。

DIS通道名称

选择DIS通道，当指定的DIS通道有新消息时，数据开发模块将新消息传递给作业，触发该作业运行。

当“触发事件类型”选择“DIS”或“OBS”时才需要配置。

连接名称

选择数据连接，需先在“管理中心”创建kafka数据连接。当“触发事件类型”选择“KAFKA”时才需要配置。

Topic

选择需要发往kafka的消息Topic。当“触发事件类型”选择“KAFKA”时才需要配置。

OBS路径

选择要监听的OBS路径，如果该路径下有新增文件，则触发调度；新增的文件的路径名，可以通过变量Job.trigger.obsNewFiles引用。前提条件：该OBS路径已经配置DIS消息通知。

最大处理文件数

节点被驱动运行时，每批次最多可处理的文件数。当“触发事件类型”选择“OBS”时才需要配置。

消费组

消费者组是kafka提供的可扩展且具有容错性的消费者机制。

它是一个组，所以内部可以有多个消费者，这些消费者共用一个ID，一个组内的所有消费者共同协作，完成对订阅的主题的所有分区进行消费。其中一个主题中的一个分区只能由一个消费者消费。

说明：
  1. 一个消费者组可以有多个消费者。
  2. Group ID是一个字符串，在一个kafka集群中，它标识唯一的一个消费者组。
  3. 每个消费者组订阅的所有主题中，每个主题的每个分区只能由一个消费者消费。消费者组之间不影响。

当触发事件类型选择了DIS或KAFKA时，会自动关联出消费组的ID，用户也可以手动修改。

事件处理并发数

选择作业并行处理的数量，最大并发数为10。

事件检测间隔

配置时间间隔，检测DIS通道下是否有新的消息。时间间隔单位可以配置为秒或分钟。

读取策略
  • 从上次位置读起
  • 从最新位置读起

    当“触发事件类型”选择“DIS”或“KAFKA”时才需要配置。

失败策略

选择节点执行失败后的策略：

  • 挂起
  • 忽略失败，继续调度
父主题： 作业开发

相关文档