更新时间:2024-11-27 GMT+08:00
天任务依赖分钟任务
场景描述
每天07:15执行的天任务作业,依赖于每隔一分钟执行一次的分钟任务作业。天任务依赖所有分钟任务在自然天内的实例, 天任务会在最后一个分钟任务实例执行完成后执行。
操作步骤
- 创建一个分钟任务作业。(开始时间00:00,结束时间23:59,时间间隔1分钟)
- 在数据开发主界面的左侧导航栏,选择 。
- 在作业目录中,右键单击目录名称,选择“新建作业”,创建一个批处理的Pipeline作业,分钟作业的名称为job_3417_kk01。
- 进入作业画布界面后,选择MRS Spark作业算子,配置算子相关参数,配置指导请参见MRS Spark。
- 配置调度周期。调度周期设置为分钟。
图1 配置调度周期(分钟)
- 作业配置完成后,保存并提交版本。
- 单击“执行调度”,启动作业调度。
- 在“作业监控”里面查看作业执行结果。
图2 查看被依赖作业的执行结果
- 创建一个周期调度的天任务作业。(每天07:15执行的天任务作业)
- 在数据开发主界面的左侧导航栏,选择 。
- 在作业目录中,右键单击目录名称,选择“新建作业”,创建一个批处理的Pipeline作业,分钟作业的名称为job_3417_kk02。
- 进入作业画布界面后,选择MRS Spark作业算子,配置算子相关参数,配置指导请参见MRS Spark。
- 配置调度周期。调度周期设置为天。
图3 配置调度周期(天)
- 配置天任务依赖分钟任务的依赖关系。
勾选上“最近”后,天任务作业只会依赖距离其定时运行时间最近的一个分钟任务作业实例。
图4 配置依赖属性
- 作业配置完成后,保存并提交版本。
- 单击“执行调度”,启动作业调度。
- 在“作业监控”里面查看作业运行结果。
图5 查看作业的执行结果
- 在操作列的“更多”里面,可以查看最近实例DAG,作业实例依赖关系图。
图6 作业实例依赖关系图
父主题: 数据开发进阶实践