更新时间:2024-11-29 GMT+08:00

收集ClickHouse系统表转储日志

操作场景

在日常使用ClickHouse时,如果出现一些异常故障,需要紧急重启恢复业务,在紧急重启之前,需要及时转储ClickHouse各系统表状态信息,用于问题定位,提升ClickHouse问题定位的效率。

针对不同的系统表日志可以分为实时转储和一键转储,如下表所示:

系统表转储日志

系统表

实时转储系统表日志

  • system.asynchronous_metrics
  • system.clusters
  • system.distribution_queue
  • system.events
  • system.grants
  • system.mutations
  • system.processes
  • system.metrics
  • system.part_moves_between_shards
  • system.replicas
  • system.replicated_fetches
  • system.replication_queue

一键转储系统表日志

  • system.distributed_ddl_queue
  • system.errors
  • system.parts
  • system.parts_columns
  • system.query_log
  • system.query_thread_log
  • system.trace_log

收集实时转储系统表日志

  1. 登录FusionInsight Manager页面,选择“运维 > 日志 > 下载”,在“服务”勾选“ClickHouseSystemTableDump”。

  2. 在“主机”中勾选需要获取的主机信息,单击“确定”。

  3. 单击右上角的时间编辑按钮,设置日志收集的“开始时间”和“结束时间”。

    收集异常故障日志时间长短可以咨询技术支持人员。

  4. 单击“下载”,实时转储的系统表会被保存在本地。

收集一键转储系统表日志

  1. 使用root用户后台登录任一ClickHouseServer节点,进入到sbin目录下。

    cd ${BIGDATA_HOME}/FusionInsight_ClickHouse_*/*_*_ClickHouseServer/install/clickhouse/sbin

  2. 执行如下命令获取转储日志:

    ./clickhouse_systemtable_dump.sh 1 "收集开始时间" "收集结束时间"

    例如:./clickhouse_systemtable_dump.sh 1 "2023-08-04 12:00:00" "2023-08-04 16:37:20"

  3. 进入“/var/log/Bigdata/clickhouse/systemTableDump/oneclickTable”目录,查看一键转储压缩日志。