更新时间:2024-11-06 GMT+08:00

ClickHouse加速Merge调优

加速后台任务,需要优先调整Zookeeper服务配置,否则Zookeeper会因为znode等资源不足,导致ClickHouse服务异常,后台任务异常。

  1. 调整Zookeeper配置:登录FusionInsight Manager界面,选择“集群 > Zookeeper > 配置 > 全部配置 > quorumpeer > 系统”,修改参数“GC_OPTS”的值,保存配置,滚动重启Zookeeper服务,如下表所示

    配置项

    参考值

    描述

    GC_OPTS

    Xmx最大内存数参考值:( Master节点内存 - 16GB) * 0.65 (保守估计值)

    JVM用于gc的参数。仅当GC_PROFILE设置为custom时该配置才会生效。需确保GC_OPT参数设置正确,否则进程启动会失败。

    注意:

    请谨慎修改该项。如果配置不当,将造成服务不可用。

  2. 调整ClickHouse配置:在FusionInsight Manager界面,选择“集群 > ClickHouse > 配置 > 全部配置 > ClickHouseServer > Zookeeper ”,修改如下参数,保存配置,无需重启服务。

    配置项

    参考值

    描述

    clickhouse.zookeeper.quota.node.count

    Xmx最大内存数/4GB * 1500000

    ClickHouse在ZooKeeper上的顶层目录的节点数量配额。

    数量配额的单位是个,最小值是-1(无限制),不能等于0。

    注意:

    设置的数量配额值,如果小于当前ZooKeeper目录的实际值,保存配置可成功,但是配置值不会生效,并且界面会上报告警。

    clickhouse.zookeeper.quota.size

    Xmx最大内存数/4GB * 1G

    ClickHouse在ZooKeeper上的顶层目录的容量配额。

    注意:

    设置的数量配额值,如果小于当前ZooKeeper目录的实际值,保存配置可成功,但是配置值不会生效,并且界面会上报告警。