DataArts Studio数据开发作业告警最佳实践

前提条件

已完成数据开发作业的开发和调度配置。

配置作业节点失败重试

您可以通过关键业务作业中的节点配置，逐一开启节点失败重试；也可以通过批量作业配置，统一开启各作业中的节点失败重启。本章节以批量作业配置为例，为您介绍如果配置作业节点失败重试。

1. 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。
2. 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。
3. 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。
4. 单击作业目录中的，选择“显示复选框”。
   图1 显示作业复选框
   

5. 勾选需要配置失败重试的作业，单击 > 作业配置，进入作业配置窗口。
   

   对于CDM Job作业，建议仅选择文件类的CDM Job作业或启用了导入阶段表的数据类CDM Job作业。未启用导入阶段表的数据类CDM Job作业可能因作业失败重试引起数据重复写入，导致迁移前后的数据不一致。

   图2 作业配置菜单
   

6. 在作业配置窗口中，配置失败重试策略。
   • 失败重试：选择“是”，开启所选择作业中所有节点的失败重试功能。
   • 超时重试：根据实际需要选择，如果作业节点配置了超时时间，则该节点执行超时后，系统支持重试。
   • 最大重试次数：根据实际需要选择，过多重试可能会导致下游作业运行时间被压缩。
   • 重试间隔时间（秒）：根据实际需要选择，过大重试间隔时间可能会导致下游作业运行时间被压缩。
   图3 配置失败重试策略
   

7. 单击“确定”，完成配置

配置作业失败告警

您可以在通知管理页面，为单个作业或所有作业开启失败告警。本章节以批量作业配置为例，为您介绍如果配置作业失败告警。

1. 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。
2. 在数据开发主界面的左侧导航栏，选择“运维调度 > 通知管理”。
3. 在页面右侧的“通知管理”页签，单击“通知配置”，弹出“通知配置”页面，在页面中配置作业失败重试告警。
   • 作业范围：根据实际需要选择，推荐选择“所有作业”，在当前已有的作业和后续新创建的作业运行异常/失败时都会发送通知。
   • 通知类型：选择“运行异常/失败”，当作业的状态为“运行异常”或“失败”时，发送通知。

     另外可以设置作业运行异常或者失败后、在作业未修复前，告警通知的“最大通知次数”和“最小通知间隔（分钟）”。

     

     最大通知次数可设置为1~50。默认为1时，最小通知间隔不显示。

     最小通知间隔可设置为5~60。

   • 通知方式：根据实际需要选择，推荐选择“按主题”通知。
     

     • 通知管理功能是通过消息通知服务SMN来发送消息，消息通知服务的使用可能会产生费用，具体请咨询消息通知服务。
     • 一个作业支持配置多个消息主题，当作业运行成功或失败，可同时向多个订阅了消息主题的终端发送通知。
   • 选择主题：选择通知的SMN消息主题。如果缺少合适的主题，则可以单击“查看主题”，进入消息通知服务（SMN）界面创建消息主题信息。
     

     当前仅支持“短信”、“邮件”、“HTTP”这三种协议的订阅终端订阅主题。

   • 开关：是否开启通知，默认开启。
   图4 配置通知
   

4. 单击“确定”，为作业配置失败告警通知。

配置作业超时告警

作业超时告警是通过为作业配置实例超时时间实现的，您需要确保已参考配置作业失败告警，为作业设置了“运行异常/失败”类型通知。作业实例超时时间只能单个作业配置，配置完成后当作业运行实例超时，则将触发异常通知。

1. 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。
2. 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。
3. 在作业目录中，双击作业名称，进入作业开发页面。
4. 在作业开发页面，单击画布右侧“作业基本信息”页签，展开配置页面，配置作业实例超时时间。
   • 实例超时时间：根据实际需要配置作业实例的超时时间，设置为0或不配置时，该配置项不生效。当您参考配置作业失败告警作业设置了异常通知，如果作业实例执行时间超过超时时间，则将触发异常通知，作业不会中断，继续运行。
   • 实例超时是否忽略等待时间：根据实际需要配置实例运行时等待时间是否会被计入超时时间。
     图5 配置实例超时时间
     
5. 配置完成后，单击“提交”，完成作业配置。