通过DLF进行作业监控及任务异常重新启动
推荐系统提供了查询作业详情API接口,可返回作业详情。返回体中的作业状态字段“jobs.job_status”表示了当前任务的状态。
重新执行作业的API用来将任务以相同的配置重新执行一次。
通过查询作业详情API和重新执行作业的API可完成对任务状态的监控,并且可以根据任务状态决定是否需要重新执行任务。
以上功能,我们也可以使用数据治理中心 DataArts Studio,通过拖拽的方式完成配置。具体操作步骤如下:
- 登录数据治理中心 DataArts Studio管理控制台,在控制台的左侧导航栏,选择 。
- 在“工作区”页面的右侧,单击“新建作业”。
- 作业名称修改为您可以识别的名称。只能包含英文字母、数字、中文、“-”、“_”、“.”,且长度为1~128个字符。
- 作业类型、创建方式、选择目录、作业责任人、作业优先级、日志路径均选择默认参数。
- 单击“确定”,页面提示作业新建成功即完成新建作业。
- 从“节点库”中选择“数据集成”下的“RestClient”节点,拖拽两个节点并关系如图1所示。“RestClient”节点参数配置说明请参见“数据治理中心 DataArts Studio>用户指南>数据开发>节点> Rest Client”。
- 对第一个节点进行查询作业详情的配置。查询作业详情参数请参见查询作业详情API。
- 对第二节点进行重新执行作业的配置。重新执行作业详情参数请参见重新执行作业的API。
当检测到近线任务(实时流任务)失败时,才会进行第二个节点的作业。
- 单击“保存”后,进行“测试运行”。确保功能正常。
- 在页面右侧,单击“调度配置”,根据需求设置任务的调度周期及其他参数。
- 在页面作业,选择“执行调度”,调度完成可单击作业名称左侧查看调度详情。 ,单击