# ALM-45009 HetuEngine计算实例任务失败率超过阈值
#### 告警解释
系统每30秒周期性检测HetuEngine计算实例的任务失败率，当检测到HetuEngine计算实例的任务失败率大于等于50%时产生该告警。
HetuEngine计算实例运行的任务失败率小于50%时，告警清除。
本章节仅适用于MRS 3.5.0-LTS及之后版本。
#### 告警属性
| 告警ID  | 告警级别 | 是否可自动清除 |
|:---|:---|:---|
| 45009 | 重要   | 是       |
   
#### 告警参数
| 类别   | 参数名称              | 参数含义                    |
|:---|:---|:---|
| 定位信息 | 来源                | 产生告警的集群名称。              |
| 定位信息 | 服务名               | 产生告警的服务名称。              |
| 定位信息 | 角色名               | 产生告警的角色名称。              |
| 定位信息 | 主机名               | 产生告警的主机名。               |
| 附加信息 | Task Failure Rate | 产生告警的计算实例租户名和当前超过阈值的大小。 |
   
#### 对系统的影响
HetuEngine计算实例任务失败率过高，会影响业务的正常运行，需及时排查问题并处理。
#### 可能原因
- 计算实例资源配置过小。
- 业务存在大SQL任务，占用过多计算资源，导致其他提交的任务无资源可用，整个计算实例响应变慢，造成任务积压。
- SQL执行失败的可能原因有：语法错误、权限问题、参数配置不合理等。
 
#### 处理步骤
**检查计算实例资源配置是否合理**
1. 使用可访问HetuEngine WebUI界面的管理员用户登录FusionInsight Manager。
2. 选择"运维 \> 告警 \> 告警 \> HetuEngine计算实例任务失败率超过阈值"，检查该告警的"附加信息"，查看并记录告警上报的租户名。
3. 选择"集群 \> 服务 \> HetuEngine"，在概览页签下的"基本信息"区域，单击"HSConsole Web UI"后的链接，进入HSConsole界面。
4. 在"计算实例"页签，单击对应计算实例所属的租户名的"配置"，查看该计算实例的资源配置是否合理（默认资源配置为最小化配置，可以根据实际需求调节）。 
   - 是，执行[步骤 8]。
   
   - 否，执行[步骤 5]。
   
   
   
   
5. 返回计算实例列表，单击"停止实例"，根据界面提示停止计算实例。
   
   ![](https://support.huaweicloud.com/usermanual-mrs/public_sys-resources/notice_3.0-zh-cn.png)
   停止计算实例会影响提交到该计算实例上的业务。
   
   
6. 单击"配置"，根据实际情况增加计算实例的资源配置，配置完成后单击"确定"，单击"启动实例"，根据界面提示启动实例。
7. 等待2分钟，查看告警是否消失。 
   - 是，处理完毕。
   
   - 否，执行[步骤 8]。
   
   
   
   
**查看业务是否存在大SQL任务**
8. 在"计算实例"页签，展开对应租户下的实例，单击计算实例"WebUI"列的"LINK"，查看所有任务的运行情况。
9. 在"Sort"列选择"Execution Time"对运行的任务进行排序，查看是否存在运行时间过长的任务（小时级的任务）。 
   - 是，执行[步骤 10]。
   
   - 否，在"Failed"列选择所有的失败任务，收集计算实例中SQL运行的详细报错信息，然后执行[步骤 14]。
   
   
   
   
10. 联系业务侧根据实际情况结束长时间运行的任务并对业务SQL进行优化。
11. 等待2分钟，查看告警是否消失。 
    - 是，处理完毕。
    
    - 否，在"Failed"列选择所有的失败任务，收集计算实例中SQL运行的详细报错信息，然后执行[步骤 14]。
    
    
    
    
**查看SQL执行失败的具体报错堆栈**
12. 在"计算实例"页签，展开对应租户下的实例，单击计算实例"WebUI"列的"LINK"，在"Failed"列选择所有的Error类型，筛选出所有的报错SQL。
13. 单击报错SQL左侧的"Query ID"，进入详情页面，查看具体的报错堆栈信息，然后执行[步骤 14]。
**收集故障信息。**
14. 在FusionInsight Manager界面，选择"运维 \> 日志 \> 下载"。
15. 在"服务"中勾选"HetuEngine"，单击"确定"。
16. 在"主机"中勾选对应角色所在的主机，单击"确定"。
17. 单击右上角的时间编辑按钮，设置日志收集的"开始时间"和"结束时间"分别为告警产生时间的前后10分钟，单击"下载"。
18. 请联系运维人员，并发送已收集的故障日志信息。
 
#### 告警清除
此告警修复后，系统会自动清除此告警，无需手工清除。
#### 参考信息
不涉及。