更新时间:2025-04-23 GMT+08:00
分享

作业调度场景

周期调度

基于时间和依赖关系的调度模式:

  • 时间:调度属性配置具体的生效日期、调度周期、启动具体时间等。
  • 依赖关系:通过属性配置作业间的依赖关系。支持的依赖关系(不同周期作业间)如图1 作业依赖关系全景图所示。
    图1 作业依赖关系全景图
  • 执行条件:时间和依赖同时满足条件。

该模式为DataArts数据开发主流调度模式,详情参考自然周期调度

事件驱动调度

  • 事件源:外部系统作为事件源可通过不同方式(包括,DIS、Kafka、OBS、HTTP)触发作业执行。
  • 依赖关系:DIS、Kafka、OBS事件触发的作业不能被其它作业依赖,作业需要完成所有处理和计算;HTTP事件触发的作业可被“上游驱动调度”作业依赖。通过这种方式,可以构建出HTTP事件触发执行的整个作业链条,处理比较复杂的计算任务。参考图2
图2 事件驱动调度

事件驱动调度详情,请参考事件驱动调度

上游驱动调度

该调度模式仅用于配置外部“事件驱动调度”作业的下游链条上的作业。 “上游驱动调度”作业也可以依赖“周期调度”的作业,从该作业追溯到最上游至少有一个“事件驱动调度”的作业。
图3 上游驱动调度

上游驱动调度详情,请参见上游驱动调度

相关文档