# ClickHouse日志介绍 #### 操作场景 在ClickHouse服务运行过程中，可能出现服务启动失败、查询报错、数据迁移异常、磁盘空间不足等问题。运维人员需要通过查看对应日志定位问题原因。本文介绍ClickHouse各组件日志的存储路径、归档规则、日志级别及修改方法，帮助您快速找到所需日志进行问题排查与定位。 #### 日志描述（MRS 3.2.0及之后版本） **日志路径**：ClickHouse相关日志的默认存储路径为"${BIGDATA_LOG_HOME}/clickhouse"。 - ClickHouse运行相关日志："/var/log/Bigdata/clickhouse/clickhouseServer/\*.log" - Balancer运行日志："/var/log/Bigdata/clickhouse/balance/\*.log" - 数据迁移日志："/var/log/Bigdata/clickhouse/migration/${task_name}/clickhouse-copier_{timestamp}_{processId}/copier.log" - ClickHouse审计日志："/var/log/Bigdata/audit/clickhouse/clickhouse-server-audit.log" **日志归档规则**： - ClickHouse日志启动了自动压缩归档功能，缺省情况下，当日志大小超过100MB的时，会自动压缩。 - 压缩后的日志文件名规则为："\<原有日志名\>.\[编号\].gz"。 - 默认最多保留最近的10个压缩文件，压缩文件保留个数可以在Manager界面中配置。 表1ClickHouse日志列表 | **日志类型** | **日志文件名** | **描述** | |:---|:---|:---| | ClickHouse相关日志 | /var/log/Bigdata/clickhouse/clickhouseServer/clickhouse-server.err.log | ClickHouseServer服务运行错误日志文件路径。 | | ClickHouse相关日志 | /var/log/Bigdata/clickhouse/clickhouseServer/checkService.log | ClickHouseServer服务运行关键日志文件路径。 | | ClickHouse相关日志 | /var/log/Bigdata/clickhouse/clickhouseServer/clickhouse-server.log | ClickHouseServer服务运行关键日志文件路径。 | | ClickHouse相关日志 | /var/log/Bigdata/clickhouse/clickhouseServer/ugsync.log | 用户角色同步工具打印日志。 | | ClickHouse相关日志 | /var/log/Bigdata/clickhouse/clickhouseServer/prestart.log | ClickHouse预启动日志。 | | ClickHouse相关日志 | /var/log/Bigdata/clickhouse/clickhouseServer/start.log | ClickHouse启动日志。 | | ClickHouse相关日志 | /var/log/Bigdata/clickhouse/clickhouseServer/checkServiceHealthCheck.log | ClickHouse健康检查日志。 | | ClickHouse相关日志 | /var/log/Bigdata/clickhouse/clickhouseServer/checkugsync.log | 用户角色同步检查日志。 | | ClickHouse相关日志 | /var/log/Bigdata/clickhouse/clickhouseServer/checkDisk.log | ClickHouse磁盘检测日志文件路径。 | | ClickHouse相关日志 | /var/log/Bigdata/clickhouse/clickhouseServer/backup.log | ClickHouse在Manager上执行备份恢复操作的日志文件路径。 | | ClickHouse相关日志 | /var/log/Bigdata/clickhouse/clickhouseServer/stop.log | ClickHouse停止日志。 | | ClickHouse相关日志 | /var/log/Bigdata/clickhouse/clickhouseServer/postinstall.log | ClickHouse的postinstall.sh脚本调用日志。 | | ClickHouse相关日志 | /var/log/Bigdata/clickhouse/balance/start.log | ClickHouseBalancer服务启动日志文件路径。 | | ClickHouse相关日志 | /var/log/Bigdata/clickhouse/balance/error.log | ClickHouseBalancer服务运行错误日志文件路径。 | | ClickHouse相关日志 | /var/log/Bigdata/clickhouse/balance/access_http.log | ClickHouseBalancer服务运行http日志文件路径。 | | ClickHouse相关日志 | /var/log/Bigdata/clickhouse/balance/access_tcp.log | ClickHouseBalancer服务运行tcp日志文件路径。 | | ClickHouse相关日志 | /var/log/Bigdata/clickhouse/balance/checkService.log | ClickHouseBalancer服务检查日志。 | | ClickHouse相关日志 | /var/log/Bigdata/clickhouse/balance/postinstall.log | ClickHouseBalancer的postinstall.sh脚本调用日志。 | | ClickHouse相关日志 | /var/log/Bigdata/clickhouse/balance/prestart.log | ClickHouseBalancer服务预启动日志文件路径。 | | ClickHouse相关日志 | /var/log/Bigdata/clickhouse/balance/stop.log | ClickHouseBalancer服务关闭日志文件路径。 | | ClickHouse相关日志 | /var/log/coredump/clickhouse-\*.core.gz | ClickHouse进程异常崩溃后生成的内存转储文件压缩包。 | | ClickHouse相关日志 | /var/log/Bigdata/clickhouse/clickhouseServer/move_factor_check.log | ClickHouse本地磁盘剩余空间是否低于冷热分离策略配置阈值的检测日志。 | | ClickHouse相关日志 | /var/log/Bigdata/clickhouse/clickhouseServer/obs_access_check.log | ClickHouse访问OBS是否正常的检测日志。 | | ClickHouse相关日志 | /var/log/Bigdata/clickhouse/clickhouseServer/obs_aksk_check.log | ClickHouse获取临时委托凭据是否成功的检测日志。 | | ClickHouse相关日志 | /var/log/Bigdata/clickhouse/clickhouseServer/sqlDefender.log | ClickHouse服务大SQL拦截日志 | | ClickHouse相关日志 | /var/log/Bigdata/clickhouse/clickhouseServer/tabledump.log | ClickHouse服务系统表转储日志 | | ClickHouse相关日志 | /var/log/Bigdata/clickhouse/clickhouseServer/singleReplica.log | ClickHouse服务单副本检测日志 | | ClickHouse相关日志 | /var/log/Bigdata/clickhouse/clickhouseServer/cleanService.log | 重装实例异常产生的记录日志。 | | ClickHouse相关日志 | /var/log/Bigdata/clickhouse/clickhouseServer/offline_shard_table_manager.log | ClickHouse入服/退服日志。 | | ClickHouse相关日志 | /var/log/Bigdata/clickhouse/clickhouseServer/traffic_control.log | ClickHouse主备容灾流量控制日志。 | | ClickHouse相关日志 | /var/log/Bigdata/clickhouse/clickhouseServer/clickhouse_migrate_metadata.log | ClickHouse元数据搬迁日志。 | | ClickHouse相关日志 | /var/log/Bigdata/clickhouse/clickhouseServer/clickhouse_migrate_data.log | ClickHouse业务数据搬迁日志。 | | ClickHouse相关日志 | /var/log/Bigdata/clickhouse/clickhouseServer/changePassword.log | ClickHouse修改用户密码日志。 | | ClickHouse相关日志 | /var/log/coredump/clickhouse-\*.core.gz | ClickHouse进程异常崩溃后生成的内存转储文件压缩包。 | | ClickHouse相关日志 | /var/log/Bigdata/clickhouse/clickhouseServer/diskIsolation.log | ClickHouse磁盘检测日志。 | | ClickHouse相关日志 | /var/log/Bigdata/clickhouse/clickhouseKeeper/clickhouse-keeper.log | ClickHouseKeeper服务运行关键日志。 该日志仅适用于MRS 3.6.0-LTS及之后版本 | | ClickHouse相关日志 | /var/log/Bigdata/clickhouse/clickhouseKeeper/clickhouse-keeper.err.log | ClickHouseKeeper服务运行错误日志。 该日志仅适用于MRS 3.6.0-LTS及之后版本 | | ClickHouse相关日志 | /var/log/Bigdata/clickhouse/clickhouseKeeper/check_keeper.log | ClickHouseKeeper服务健康检查日志。 该日志仅适用于MRS 3.6.0-LTS及之后版本 | | ClickHouse相关日志 | /var/log/Bigdata/clickhouse/clickhouseKeeper/cleanService.log | ClickHouseKeeper服务重装实例异常的日志。 该日志仅适用于MRS 3.6.0-LTS及之后版本 | | ClickHouse相关日志 | /var/log/Bigdata/clickhouse/clickhouseKeeper/postinstall.log | ClickHouseKeeper的postinstall.sh脚本调用日志。 该日志仅适用于MRS 3.6.0-LTS及之后版本 | | ClickHouse相关日志 | /var/log/Bigdata/clickhouse/clickhouseKeeper/prestart.log | ClickHouseKeeper服务预启动日志。 该日志仅适用于MRS 3.6.0-LTS及之后版本 | | ClickHouse相关日志 | /var/log/Bigdata/clickhouse/clickhouseKeeper/start.log | ClickHouseKeeper服务启动日志。 该日志仅适用于MRS 3.6.0-LTS及之后版本 | | ClickHouse相关日志 | /var/log/Bigdata/clickhouse/clickhouseKeeper/stop.log | ClickHouseKeeper服务停止日志。 该日志仅适用于MRS 3.6.0-LTS及之后版本 | | 数据迁移日志 | /var/log/Bigdata/clickhouse/migration/*数据迁移任务名* /clickhouse-copier_*{timestamp}_{processId}*/copier.log | 参考[集群内ClickHouseServer节点间数据迁移](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24198.html)使用迁移工具时产生的运行日志。 | | 数据迁移日志 | /var/log/Bigdata/clickhouse/migration/*数据迁移任务名* /clickhouse-copier_*{timestamp}_{processId}*/copier.err.log | 参考[集群内ClickHouseServer节点间数据迁移](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24198.html)使用迁移工具时产生的错误日志。 | | 数据迁移日志 | /var/log/Bigdata/tomcat/clickhouse/auto_balance/*数据迁移任务名*/balance_manager.log | 参考[集群内ClickHouseServer节点间数据迁移](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24198.html)，勾选一键均衡产生的运行日志。 | | 数据迁移日志 | /var/log/Bigdata/tomcat/clickhouse/auto_balance/*数据迁移任务名*/start.log | ClickHouse数据迁移工具产生的迁移开始日志。 该日志仅适用于MRS 3.5.0及之后版本 | | 数据迁移日志 | /var/log/Bigdata/tomcat/clickhouse/auto_balance/*数据迁移任务名*/stop.log | ClickHouse数据迁移工具产生的迁移停止日志。 该日志仅适用于MRS 3.5.0及之后版本 | | 数据迁移日志 | /var/log/Bigdata/tomcat/clickhouse/auto_balance/*数据迁移任务名*/balance_tbl_${DATABASE}_${TABLE}_manager.log | ClickHouse数据迁移工具产生的迁移数据详细日志。 该日志仅适用于MRS 3.5.0及之后版本 | | clickhouse-tomcat日志 | /var/log/Bigdata/tomcat/clickhouse/web_clickhouse.log | ClickHouse自定义UI运行日志。 | | clickhouse-tomcat日志 | /var/log/Bigdata/tomcat/audit/clickhouse/clickhouse_web_audit.log | ClickHouse的数据迁移审计日志。 | | ClickHouse审计日志 | /var/log/Bigdata/audit/clickhouse/clickhouse-server-audit.log | ClickHouse的审计日志文件路径。 | #### 日志描述（MRS 3.2.0之前版本） **日志路径**：ClickHouse相关日志的默认存储路径为"${BIGDATA_LOG_HOME}/clickhouse"。 **日志归档规则**：ClickHouse日志启动了自动压缩归档功能，缺省情况下，当日志大小超过100MB的时候，会自动压缩，压缩后的日志文件名规则为："\<原有日志名\>.\[编号\].gz"。默认最多保留最近的10个压缩文件，压缩文件保留个数可以在Manager界面中配置。 表2ClickHouse日志列表 | **日志类型** | **日志文件名** | **描述** | |:---|:---|:---| | 运行日志 | /var/log/Bigdata/clickhouse/clickhouseServer/clickhouse-server.err.log | ClickHouseServer服务运行错误日志文件路径。 | | 运行日志 | /var/log/Bigdata/clickhouse/clickhouseServer/checkService.log | ClickHouseServer服务运行关键日志文件路径。 | | 运行日志 | /var/log/Bigdata/clickhouse/clickhouseServer/clickhouse-server.log | ClickHouseServer服务运行关键日志文件路径。 | | 运行日志 | /var/log/Bigdata/clickhouse/balance/start.log | ClickHouseBalancer服务启动日志文件路径。 | | 运行日志 | /var/log/Bigdata/clickhouse/balance/error.log | ClickHouseBalancer服务运行错误日志文件路径。 | | 运行日志 | /var/log/Bigdata/clickhouse/balance/access_http.log | ClickHouseBalancer服务运行日志文件路径。 | | 数据迁移日志 | /var/log/Bigdata/clickhouse/migration/数据迁移任务名/clickhouse-copier_{timestamp}_{processId}/copier.log | 参考[集群内ClickHouseServer节点间数据迁移](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24198.html)使用迁移工具时产生的运行日志。 | | 数据迁移日志 | /var/log/Bigdata/clickhouse/migration/数据迁移任务名/clickhouse-copier_{timestamp}_{processId}/copier.err.log | 参考[集群内ClickHouseServer节点间数据迁移](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24198.html)使用迁移工具时产生的错误日志。 | #### 日志级别 ClickHouse提供了如[表3]所示的日志级别。 运行日志的级别优先级从高到低分别是error、warning、trace、information、debug，程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。 表3日志级别 | **级别** | **描述** | |:---|:---| | error | error表示系统运行的错误信息。 | | warning | warning表示当前事件处理存在异常信息。 | | trace | trace表示当前事件处理跟踪信息。 | | information | information表示记录系统及各事件正常运行状态信息。 | | debug | debug表示记录系统及系统的调试信息。 | 如果您需要修改日志级别，请执行如下操作： 1. 登录FusionInsight Manager系统。 2. 选择"集群 \> 服务 \> ClickHouse \> 配置"。 3. 单击"全部配置"。 4. 左边菜单栏中选择所需修改的角色所对应的日志菜单。例如，修改ClickHouseServer实例日志级别，则选择"ClickHouseServer（角色） \> 日志"。 5. 选择所需修改的日志级别。 6. 单击"保存"，然后单击"确定"，成功后配置生效。 ![](https://support.huaweicloud.com/cmpntguide-lts-mrs/public_sys-resources/note_3.0-zh-cn.png) 配置完成后即生效，不需要重启服务。 #### 日志格式 ClickHouse的日志格式如下所示： 表4日志格式 | **日志类型** | **格式** | **示例** | |:---|:---|:---| | ClickHouse运行日志 | \\|\\<产生该日志的线程名字\>\|\\|\<日志事件的发生位置\> | 2021.02.23 15:26:30.691301 \[ 6085 \] {} \ DynamicQueryHandler: Code: 516, e.displayText() = DB::Exception: default: Authentication failed: password is incorrect or there is no user with such name, Stack trace (when copying this message, always include the lines below): 0. Poco::Exception::Exception(std::__1::basic_string\, std::__1::allocator\ \> const\&, int) @ 0x1250e59c | | clickhouse-tomcat运行日志 | \\|\\<产生该日志的线程名字\>\|\\|\<日志事件的发生位置\> | 2022-08-16 12:55:12,109 \| INFO \| pool-7-thread-1 \| zookeeper is secure. \| com.huawei.bigdata.om.extui.clickhouse.service.impl.QueryServiceImpl.initAuthContext(QueryServiceImpl.java:136) | | 数据迁移日志 | \\|\\<产生该日志的线程名字\>\|\\|\<日志事件的发生位置\> | 2022.08.07 14:41:01.814235 \[ 28651 \] {} \ ClusterCopier: Task /clickhouse/copier_tasks/TEST0807_02/tables/dblv85.startsea_zh_imoriginck_new/20201031/piece_4/shards/1 has been successfully executed by 8%2D5%2D226%2D156#20220807124849_28651 | | 审计日志 | \\|query id\|\\<产生该日志的线程名字\>\|\\|\<日志事件的发生位置\> | 2022.08.16 20:58:16.723643 \[ 11382 \] {cc9554b6-8a26-42e9-8ab8-d848500544e6} \ executeQuery_audit \[executeQuery.cpp:202\] : (0 from 192.168.64.81:45204, user: clickhouse, using experimental parser) select shard_num, host_name, host_address from system.clusters format JSON | #### 相关文档 - 如需在Manager界面在线查看或下载ClickHouse日志，请参考[下载MRS集群日志](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0267.html)。 - 如需使用ClickHouse数据迁移工具在节点间迁移数据，请参考[集群内ClickHouseServer节点间数据迁移](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24198.html)。 - 如需配置ClickHouse冷热分离策略，将冷数据迁移至OBS以降低存储成本，请参考[配置ClickHouse冷热分离](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2493081.html)。