更新时间:2025-07-07 GMT+08:00
分享

事件驱动调度

解释说明

事件驱动调度根据事件发生触发节点执行。事件的消息内容将保存数据库中,消息内容的保存周期为30天。

事件驱动调度当需要与外部系统对接,作业通过外部事件触发执行时使用“事件驱动调度”模式。

参数配置

表1 “事件驱动调度”的参数配置

参数

说明

触发事件类型

选择触发作业运行的事件类型。

  • “DIS”
  • “KAFKA”
  • “OBS”

“DIS”触发事件类型的参数

DIS通道名称

选择DIS通道,当指定的DIS通道有新消息时,数据开发模块将新消息传递给作业,触发该作业运行。

事件处理并发数

选择作业并行处理的数量,最大并发数为128。

事件检测间隔

配置时间间隔,检测DIS通道下是否有新的消息。时间间隔单位可以配置为秒或分钟。

读取策略

选择数据的读取位置:

  • 从上次位置读取:首次启动时,从最新的位置读取数据。后续启动时,则从前一次记录的位置读取数据。
  • 从最新位置读取:每次启动都会从最新的位置读取数据。

失败策略

选择调度失败后的策略:

  • 挂起
  • 忽略失败,读取下一个事件

是否空跑

如果勾选了空跑,任务不会实际执行,将直接返回成功。

任务组

选择已配置好的任务组。配置方法请参见配置任务组

系统默认“不选择任务组”。

任务组配置好后,可以更细粒度地进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。

说明:

对于Pipeline作业,每个节点都可以配置一个任务组,也可以在作业里面统一配置任务组,如果配置了节点级任务组,则优先级高于作业级的任务组。

“KAFKA”触发事件类型的参数

连接名称

选择数据连接,需先在“管理中心”创建kafka数据连接。

Topic

选择需要发往kafka的消息Topic。

事件处理并发数

选择作业并行处理的数量,最大并发数为128。

事件检测间隔

配置时间间隔,检测通道下是否有新的消息。时间间隔单位可以配置为秒或分钟。

读取策略

选择数据的读取位置:

  • 从上次位置读取:首次启动时,从最新的位置读取数据。后续启动时,则从前一次记录的位置读取数据。
  • 从最新位置读取:每次启动都会从最新的位置读取数据。

失败策略

选择调度失败后的策略:

  • 挂起
  • 忽略失败,读取下一个事件

是否空跑

如果勾选了空跑,任务不会实际执行,将直接返回成功。

任务组

选择已配置好的任务组。配置方法请参见配置任务组

系统默认“不选择任务组”。

任务组配置好后,可以更细粒度地进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。

说明:

对于Pipeline作业,每个节点都可以配置一个任务组,也可以在作业里面统一配置任务组,如果配置了节点级任务组,则优先级高于作业级的任务组。

“OBS”触发事件类型的参数(当前仅上海二和北京四区域支持)

说明:

“OBS”触发事件类型的事件驱动调度,依赖于OBS的“事件通知 -> DIS通知”功能,由于OBS该功能在华为云暂未正式上线,因此当前暂时无法使用OBS触发事件类型。

OBS路径

选择要监听的OBS路径。如果该路径下有您在OBS控制台配置的指定OBS事件产生,通知则触发调度。

DIS通道名称

选择DIS通道,当指定的DIS通道有新消息时,数据开发模块将新消息传递给作业,触发该作业运行。

最大处理文件数

节点被驱动运行时,每批次最多可处理的文件数。

事件处理并发数

选择作业并行处理的数量,最大并发数为128。

事件检测间隔

配置时间间隔,检测OBS路径下是否有指定事件产生。时间间隔单位可以配置为秒或分钟。

失败策略

选择调度失败后的策略:

  • 挂起
  • 忽略失败,读取下一个事件

是否空跑

如果勾选了空跑,任务不会实际执行,将直接返回成功。

任务组

选择已配置好的任务组。配置方法请参见配置任务组

系统默认“不选择任务组”。

任务组配置好后,可以更细粒度地进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。

说明:

对于Pipeline作业,每个节点都可以配置一个任务组,也可以在作业里面统一配置任务组,如果配置了节点级任务组,则优先级高于作业级的任务组。

相关文档