上游驱动调度
解释说明
该调度模式仅用于配置外部“事件驱动调度”作业的下游链条上的作业。从该作业追溯到最上游至少有一个“事件驱动调度”的作业。
- “事件驱动调度”作业的下游作业只能是“上游驱动调度”作业。上游驱动作业会接收到原始触发HTTP事件的biz_time信息,根据该信息进行频次控制。
- “上游驱动调度”的上游作业可以是“事件驱动调度”、 “上游驱动调度”、“周期调度作业”。但必须至少有一个“事件驱动调度”或“上游驱动调度”作业,否则该作业永远不会被触发执行。
参数配置
|
参数 |
说明 |
|---|---|
|
生效时间 |
调度任务的生效时间段。 |
|
依赖作业 |
此处可以选择不同工作空间的周期调度作业作为依赖作业,则仅当依赖的作业运行完成时,才开始执行当前作业。 |
|
依赖的失败后,当前处理策略 |
当依赖的在当前作业周期内存在运行失败实例后,选择当前的处理策略:
例如,当前作业调度周期为1小时, 依赖调度周期为5分钟。
|
|
配置作业依赖时,可以对所依赖的作业是否在调度中进行过滤 |
配置作业依赖关系时,可以对所依赖的作业是否在调度中进行过滤,避免上游依赖的作业未开始调度,从而导致下游作业失败。
|
|
自动解析依赖 |
对于SQL类的节点,数据开发可根据节点中的任务代码,自动解析出当前节点的上下游依赖关系。 自动解析依赖支持的SQL类型:MRS Spark SQL、Hive SQL、DWS SQL和DLI SQL。 |
|
跨周期依赖 |
选择实例之间的依赖关系。
|
|
触发频度 |
选择触发频度。
|
|
是否空跑 |
如果勾选了空跑,任务不会实际执行,将直接返回成功。 |
|
任务组 |
选择已配置好的任务组。配置方法请参见配置任务组。 系统默认“不选择任务组”。 任务组配置好后,可以更细粒度地进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。
说明:
对于Pipeline作业,每个节点都可以配置一个任务组,也可以在作业里面统一配置任务组,如果配置了节点级任务组,则优先级高于作业级的任务组。 |