更新时间:2023-06-09 GMT+08:00
分享

自然周期调度

解释说明

DataArts Studio支持自然周期的调度方式。通过各个节点的调度依赖配置结果,有序的运行业务流程中各个节点,保障业务数据有效、适时地产出。

调度依赖就是节点间的上下游依赖关系,在DataArts Studio中,上游任务节点运行完成且运行成功,下游任务节点才会开始运行。

配置调度依赖后,可以保障调度任务在运行时能取到正确的数据(当前节点依赖的上游节点成功运行后,DataArts Studio通过节点运行的状态识别到上游表的最新数据已产生,下游节点再去取数)。避免下游节点取数据时,上游表数据还未正常产出,导致下游节点取数出现问题。

在配置依赖关系时,支持配置同周期的依赖和上一周期的依赖。

同周期依赖的原理,详情参考自然周期调度之同周期依赖原理

上一周期依赖的原理,详情参考自然周期调度之上一周期依赖原理

当分钟的调度周期不能被小时整除时,周期调度就不是严格按照间隔周期去跑,而是按照cron表达式的规则,每个小时的零点触发去跑,再往后推间隔。

相关文档