事件驱动调度
解释说明
事件驱动调度根据事件发生触发节点执行。事件的消息内容将保存数据库中,消息内容的保存周期为30天。
事件驱动调度当需要与外部系统对接,作业通过外部事件触发执行时使用“事件驱动调度”模式。
参数配置
参数 |
说明 |
---|---|
触发事件类型 |
选择触发作业运行的事件类型。
|
“DIS”触发事件类型的参数 |
|
DIS通道名称 |
选择DIS通道,当指定的DIS通道有新消息时,数据开发模块将新消息传递给作业,触发该作业运行。 |
事件处理并发数 |
选择作业并行处理的数量,最大并发数为128。 |
事件检测间隔 |
配置时间间隔,检测DIS通道下是否有新的消息。时间间隔单位可以配置为秒或分钟。 |
读取策略 |
选择数据的读取位置:
|
失败策略 |
选择调度失败后的策略:
|
是否空跑 |
如果勾选了空跑,任务不会实际执行,将直接返回成功。 |
任务组 |
选择已配置好的任务组。配置方法请参见配置任务组。 系统默认“不选择任务组”。 任务组配置好后,可以更细粒度地进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。
说明:
对于Pipeline作业,每个节点都可以配置一个任务组,也可以在作业里面统一配置任务组,如果配置了节点级任务组,则优先级高于作业级的任务组。 |
“KAFKA”触发事件类型的参数 |
|
连接名称 |
选择数据连接,需先在“管理中心”创建kafka数据连接。 |
Topic |
选择需要发往kafka的消息Topic。 |
事件处理并发数 |
选择作业并行处理的数量,最大并发数为128。 |
事件检测间隔 |
配置时间间隔,检测通道下是否有新的消息。时间间隔单位可以配置为秒或分钟。 |
读取策略 |
选择数据的读取位置:
|
失败策略 |
选择调度失败后的策略:
|
是否空跑 |
如果勾选了空跑,任务不会实际执行,将直接返回成功。 |
任务组 |
选择已配置好的任务组。配置方法请参见配置任务组。 系统默认“不选择任务组”。 任务组配置好后,可以更细粒度地进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。
说明:
对于Pipeline作业,每个节点都可以配置一个任务组,也可以在作业里面统一配置任务组,如果配置了节点级任务组,则优先级高于作业级的任务组。 |
“OBS”触发事件类型的参数(当前仅上海二和北京四区域支持)
说明:
“OBS”触发事件类型的事件驱动调度,依赖于OBS的“事件通知 -> DIS通知”功能,由于OBS该功能在华为云暂未正式上线,因此当前暂时无法使用OBS触发事件类型。 |
|
OBS路径 |
选择要监听的OBS路径。如果该路径下有您在OBS控制台配置的指定OBS事件产生,通知则触发调度。 |
DIS通道名称 |
选择DIS通道,当指定的DIS通道有新消息时,数据开发模块将新消息传递给作业,触发该作业运行。 |
最大处理文件数 |
节点被驱动运行时,每批次最多可处理的文件数。 |
事件处理并发数 |
选择作业并行处理的数量,最大并发数为128。 |
事件检测间隔 |
配置时间间隔,检测OBS路径下是否有指定事件产生。时间间隔单位可以配置为秒或分钟。 |
失败策略 |
选择调度失败后的策略:
|
是否空跑 |
如果勾选了空跑,任务不会实际执行,将直接返回成功。 |
任务组 |
选择已配置好的任务组。配置方法请参见配置任务组。 系统默认“不选择任务组”。 任务组配置好后,可以更细粒度地进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。
说明:
对于Pipeline作业,每个节点都可以配置一个任务组,也可以在作业里面统一配置任务组,如果配置了节点级任务组,则优先级高于作业级的任务组。 |