ALM-45457 ClickHouse的副本队列中存在任务堆积

告警解释

告警模块按30秒周期检测ClickHouse服务replication_queue任务队列中的任务数，当检测到任务数超过阈值（50,000），系统产生此告警。

当系统检测到任务数低于阈值，告警恢复。

告警属性

告警参数

对系统的影响

当ClickHouse服务出现副本队列中任务堆积时，可能会导致MergeTree表的数据同步任务出现延迟，后续的写入和变更任务出现延迟，甚至进一步加剧系统负载。

可能原因

• 高频的小批量写入，导致数据合并速度慢于写入速度。
• 集群中存在大量的mutation任务。
• 副本同步任务长时间未执行，集群中出现“ClickHouse副本间不一致”的告警。

处理步骤

检查是否存在高频的小批量写入

1. 登录FusionInsight Manager页面，选择“运维 > 告警 > 告警”，查看当前告警“定位信息”中的角色名以及确认主机名所在的IP地址。
2. 以客户端安装用户，登录客户端的节点，执行如下命令：

   cd {客户端安装路径}

   source bigdata_env

   • 集群已启用Kerberos认证（安全模式）：

     kinit 组件业务用户

     clickhouse client --host 上报告警的ClickHouseServer实例IP --port 9440 --secure

   • 集群未启用Kerberos认证（普通模式）：

     clickhouse client --host 上报告警的ClickHouseServer实例IP --user 用户名 --password --port 9440

3. 执行以下语句，排查集群中是否存在高频的小批量写入。
   该查询语句用来分析ClickHouse集群中10分钟内是否存在写入数据量小于1000条的insert语句。

   SELECT user, query, count() AS insert_count, avg(written_rows) AS avg_rows_per_insert, min(event_time) AS first_time, max(event_time) AS last_time
   FROM clusterAllReplicas('default_cluster', system.query_log)
   WHERE (event_time >= (now() - toIntervalMinute(10))) AND (type = 'QueryFinish') AND (query_kind = 'Insert')
   GROUP BY user, query
   HAVING (insert_count >= 10) AND (avg_rows_per_insert < 10000)
   ORDER BY insert_count DESC;

   • 是，执行步骤 4。
   • 否，执行步骤 5。

4. 尝试降低或者停止高频的小批量写入业务；停止业务后，等待几分钟查看告警是否恢复。
   • 是，操作结束。
   • 否，执行步骤 5。

检查是否存在大量的mutation任务

5. 执行以下语句，排查集群中是否存在大量的mutation任务。

   select FQDN() as node, database, table, mutation_id, create_time, command, is_done, parts_to_do FROM clusterAllReplicas('default_cluster', system.mutations) WHERE is_done = 0;

   • 是，执行步骤 6。
   • 否，执行步骤 8。

6. 根据步骤 5中查询的结果，确认mutation任务相关的表名，尝试清理这些长时间（超过10分钟）未执行的mutation任务。

   KILL MUTATION WHERE database = '库名' AND table = '表名';

   或者：

   KILL MUTATION WHERE database = '库名' AND table = '表名' AND mutation_id = 'mutation_id';

7. 清理mutation任务后，等待一段时间，查看告警是否恢复。
   • 是，操作结束。
   • 否，执行步骤 8。

检查是否存在“ALM-45440ClickHouse副本间不一致”告警

8. 查看集群告警中是否存在“ALM-45440ClickHouse副本间不一致”的告警。
   • 是，执行步骤 8。
   • 否，执行步骤 10。

9. 参考“ALM-45440ClickHouse副本间不一致”告警帮助指导处理该告警。处理完成后，在告警列表中查看“ALM-45457 ClickHouse的副本队列中存在任务堆积”告警是否清除。
   • 是，操作结束。
   • 否，执行步骤 10。

收集故障信息

10. 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。
11. 在“服务”中勾选待操作集群的“ClickHouse”。
12. 在“主机”中选择异常的主机，单击“确定”。
13. 单击右上角的时间编辑按钮，设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时，单击“下载”。
14. 请联系运维人员，并发送已收集的故障日志信息。

告警清除

此告警修复后，系统会自动清除此告警，无需手工清除。

参考信息

不涉及。