# ALM-45458 ClickHouse存在变更任务的堆积
#### 告警解释
告警模块按30秒周期检测ClickHouse服务mutations任务队列中的任务数，当检测到任务数超过阈值（5000），系统产生此告警。
当系统检测到任务数低于阈值，告警恢复。
本章节仅适用于MRS 3.6.0-LTS及之后版本。
#### 告警属性
| 告警ID  | 告警级别                                                                                     | 是否可自动清除 |
|:---|:---|:---|
| 45458 | 紧急（默认阈值为10,000） 重要（默认阈值为5,000） | 是       |
   
#### 告警参数
| 类别   | 参数名称 | 参数含义          |
|:---|:---|:---|
| 定位信息 | 来源   | 产生告警的集群或系统名称。 |
| 定位信息 | 服务名  | 产生告警的服务名称。    |
| 定位信息 | 角色名  | 产生告警的角色名称。    |
| 定位信息 | 主机名  | 产生告警的主机名。     |
   
#### 对系统的影响
当ClickHouse节点出现变更任务堆积时，可能会导致查询任务出现延迟，严重时会拖慢整个集群的性能，甚至导致集群服务不可用。
#### 可能原因
- 频繁执行alter table ... update/delete类型的任务。
- 表中有脏数据，导致mutation任务执行失败并且不断重试。
 
#### 处理步骤
**检查是否存在频繁执行alter table ... update/delete类型的任务**
1. 登录FusionInsight Manager页面，选择"运维 \> 告警 \> 告警"，查看当前告警"定位信息"中的角色名以及确认主机名所在的IP地址。
2. 以客户端安装用户，登录客户端的节点，执行如下命令： 
   **cd** *{客户端安装路径}*
   **source bigdata_env**
   - 集群已启用Kerberos认证（安全模式）： **kinit** *组件业务用户*
     **clickhouse client --host** *上报告警的ClickHouseServer实例IP* **--port** 9440 **--secure**
     
   
   - 集群未启用Kerberos认证（普通模式）： **clickhouse client --host** *上报告警的ClickHouseServer实例IP* **--user** *用户名* **--password** **--port**9440
     
   
   
   
   
3. 执行以下语句，查看system.mutations中的任务类型，判断是否有长时间（超过10分钟）未执行的变更任务：
   
   ```
   select FQDN() as node, database, table, mutation_id, create_time, command, is_done, parts_to_do FROM clusterAllReplicas('default_cluster', system.mutations) WHERE is_done = 0;
   ```
   
   
4. 根据[步骤 3]中查询的结果，确认mutation任务相关的表名，尝试清理这些长时间未执行的mutation任务。
   
   **KILL MUTATION WHERE database =** *'库名'* **AND table =** *'表名'* **;**
   或者：
   **KILL MUTATION WHERE database =** *'库名'* **AND table =** *'表名'* **AND mutation_id = 'mutation_id';**
   ![](https://support.huaweicloud.com/usermanual-mrs/public_sys-resources/caution_3.0-zh-cn.png)
   alter table ... update/delete类型的任务属于mutation任务，对系统资源有大量的消耗，严重影响集群性能，应尽量避免频繁使用。
   
   
5. 等待一段时间，查看告警是否恢复。 
   - 是，操作结束。
   
   - 否，执行[步骤 6]。
   
   
   
   
**检查表中是否存在脏数据**
6. 使用root用户登录告警上报的节点，查看对应节点上的"/var/log/Bigdata/clickhouse/clickhouseServer/clickhouse-server.log"日志是否有"Cannot parse xxx"类似的报错。
   
   - 是，执行[步骤 7]。
   
   - 否，执行[步骤 8]。
   
   
   
   
7. 排查mutation任务执行的表中是否存在脏数据，导致数据解析时报错"Cannot parse xxx"。
   
   - 是，清理脏数据，重新执行[步骤 3]。
   
   - 否，执行[步骤 8]。
   
   
   
   
**收集故障信息**
8. 在FusionInsight Manager界面，选择"运维 \> 日志 \> 下载"。
9. 在"服务"中勾选待操作集群的"ClickHouse"。
10. 在"主机"中选择异常的主机，单击"确定"。
11. 单击右上角的时间编辑按钮，设置日志收集的"开始时间"和"结束时间"分别为告警产生时间的前后1小时，单击"下载"。
12. 请联系运维人员，并发送已收集的故障日志信息。
 
#### 告警清除
此告警修复后，系统会自动清除此告警，无需手工清除。
#### 参考信息
不涉及。