ClickHouse日志介绍
日志描述（MRS 3.2.0及之后版本）
日志路径：ClickHouse相关日志的默认存储路径为“${BIGDATA_LOG_HOME}/clickhouse”。
- ClickHouse运行相关日志：“/var/log/Bigdata/clickhouse/clickhouseServer/ *.log”
- Balancer运行日志：“/var/log/Bigdata/clickhouse/balance/*.log”
- 数据迁移日志：“/var/log/Bigdata/clickhouse/migration/${task_name}/clickhouse-copier_{timestamp}_{processId}/copier.log”
- ClickHouse审计日志：“/var/log/Bigdata/audit/clickhouse/clickhouse-server-audit.log”
日志归档规则：
- ClickHouse日志启动了自动压缩归档功能，缺省情况下，当日志大小超过100MB的时，会自动压缩。
- 压缩后的日志文件名规则为：“<原有日志名>.[编号].gz”。
- 默认最多保留最近的10个压缩文件，压缩文件保留个数可以在Manager界面中配置。
|
日志类型 |
日志文件名 |
描述 |
|---|---|---|
|
ClickHouse相关日志 |
/var/log/Bigdata/clickhouse/clickhouseServer/clickhouse-server.err.log |
ClickHouseServer服务运行错误日志文件路径。 |
|
/var/log/Bigdata/clickhouse/clickhouseServer/checkService.log |
ClickHouseServer服务运行关键日志文件路径。 |
|
|
/var/log/Bigdata/clickhouse/clickhouseServer/clickhouse-server.log |
||
|
/var/log/Bigdata/clickhouse/clickhouseServer/ugsync.log |
用户角色同步工具打印日志。 |
|
|
/var/log/Bigdata/clickhouse/clickhouseServer/prestart.log |
ClickHouse预启动日志。 |
|
|
/var/log/Bigdata/clickhouse/clickhouseServer/start.log |
ClickHouse启动日志。 |
|
|
/var/log/Bigdata/clickhouse/clickhouseServer/checkServiceHealthCheck.log |
ClickHouse健康检查日志。 |
|
|
/var/log/Bigdata/clickhouse/clickhouseServer/checkugsync.log |
用户角色同步检查日志。 |
|
|
/var/log/Bigdata/clickhouse/clickhouseServer/checkDisk.log |
ClickHouse磁盘检测日志文件路径。 |
|
|
/var/log/Bigdata/clickhouse/clickhouseServer/backup.log |
ClickHouse在Manager上执行备份恢复操作的日志文件路径。 |
|
|
/var/log/Bigdata/clickhouse/clickhouseServer/stop.log |
ClickHouse停止日志。 |
|
|
/var/log/Bigdata/clickhouse/clickhouseServer/postinstall.log |
ClickHouse的postinstall.sh脚本调用日志。 |
|
|
/var/log/Bigdata/clickhouse/balance/start.log |
ClickHouseBalancer服务启动日志文件路径。 |
|
|
/var/log/Bigdata/clickhouse/balance/error.log |
ClickHouseBalancer服务运行错误日志文件路径。 |
|
|
/var/log/Bigdata/clickhouse/balance/access_http.log |
ClickHouseBalancer服务运行http日志文件路径。 |
|
|
/var/log/Bigdata/clickhouse/balance/access_tcp.log |
ClickHouseBalancer服务运行tcp日志文件路径。 |
|
|
/var/log/Bigdata/clickhouse/balance/checkService.log |
ClickHouseBalancer服务检查日志。 |
|
|
/var/log/Bigdata/clickhouse/balance/postinstall.log |
ClickHouseBalacer的postinstall.sh脚本调用日志。 |
|
|
/var/log/Bigdata/clickhouse/balance/prestart.log |
ClickHouseBalancer服务预启动日志文件路径。 |
|
|
/var/log/Bigdata/clickhouse/balance/stop.log |
ClickHouseBalancer服务关闭日志文件路径。 |
|
|
/var/log/coredump/clickhouse-*.core.gz |
ClickHouse进程异常崩溃后生成的内存转储文件压缩包。 该日志仅适用于MRS 3.3.0及之后版本。 |
|
|
数据迁移日志 |
/var/log/Bigdata/clickhouse/migration/数据迁移任务名/clickhouse-copier_{timestamp}_{processId}/copier.log |
参考集群内ClickHouseServer节点间数据迁移使用迁移工具时产生的运行日志。 |
|
/var/log/Bigdata/clickhouse/migration/数据迁移任务名/clickhouse-copier_{timestamp}_{processId}/copier.err.log |
参考集群内ClickHouseServer节点间数据迁移使用迁移工具时产生的错误日志。 |
|
|
clickhouse-tomcat日志 |
/var/log/Bigdata/tomcat/clickhouse/web_clickhouse.log |
ClickHouse自定义UI运行日志。 |
|
/var/log/Bigdata/tomcat/audit/clickhouse/clickhouse_web_audit.log |
clickhouse的数据迁移审计日志。 |
|
|
clickhouse审计日志 |
/var/log/Bigdata/audit/clickhouse/clickhouse-server-audit.log |
ClickHouse的审计日志文件路径。 |
日志描述（MRS 3.2.0之前版本）
日志路径：ClickHouse相关日志的默认存储路径为“${BIGDATA_LOG_HOME}/clickhouse”。
日志归档规则：ClickHouse日志启动了自动压缩归档功能，缺省情况下，当日志大小超过100MB的时候，会自动压缩，压缩后的日志文件名规则为：“<原有日志名>.[编号].gz”。默认最多保留最近的10个压缩文件，压缩文件保留个数可以在Manager界面中配置。
|
日志类型 |
日志文件名 |
描述 |
|---|---|---|
|
运行日志 |
/var/log/Bigdata/clickhouse/clickhouseServer/clickhouse-server.err.log |
ClickHouseServer服务运行错误日志文件路径。 |
|
/var/log/Bigdata/clickhouse/clickhouseServer/checkService.log |
ClickHouseServer服务运行关键日志文件路径。 |
|
|
/var/log/Bigdata/clickhouse/clickhouseServer/clickhouse-server.log |
||
|
/var/log/Bigdata/clickhouse/balance/start.log |
ClickHouseBalancer服务启动日志文件路径。 |
|
|
/var/log/Bigdata/clickhouse/balance/error.log |
ClickHouseBalancer服务运行错误日志文件路径。 |
|
|
/var/log/Bigdata/clickhouse/balance/access_http.log |
ClickHouseBalancer服务运行日志文件路径。 |
|
|
数据迁移日志 |
/var/log/Bigdata/clickhouse/migration/数据迁移任务名/clickhouse-copier_{timestamp}_{processId}/copier.log |
参考集群内ClickHouseServer节点间数据迁移使用迁移工具时产生的运行日志。 |
|
/var/log/Bigdata/clickhouse/migration/数据迁移任务名/clickhouse-copier_{timestamp}_{processId}/copier.err.log |
参考集群内ClickHouseServer节点间数据迁移使用迁移工具时产生的错误日志。 |
日志级别
ClickHouse提供了如表3所示的日志级别。
运行日志的级别优先级从高到低分别是error、warning、trace、information、debug，程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。
|
级别 |
描述 |
|---|---|
|
error |
error表示系统运行的错误信息。 |
|
warning |
warning表示当前事件处理存在异常信息。 |
|
trace |
trace表示当前事件处理跟踪信息。 |
|
information |
information表示记录系统及各事件正常运行状态信息。 |
|
debug |
debug表示记录系统及系统的调试信息。 |
如果您需要修改日志级别，请执行如下操作：
- 登录FusionInsight Manager系统。
- 选择“集群 > 服务 > ClickHouse > 配置”。
- 单击“全部配置”。
- 左边菜单栏中选择所需修改的角色所对应的日志菜单。
- 选择所需修改的日志级别。
- 单击“保存”，然后单击“确定”，成功后配置生效。
配置完成后即生效，不需要重启服务。
日志格式
ClickHouse的日志格式如下所示：
|
日志类型 |
格式 |
示例 |
|---|---|---|
|
ClickHouse运行日志 |
<yyyy-MM-dd HH:mm:ss,SSS>|<Log Level><产生该日志的线程名字>|<log中的message>|<日志事件的发生位置> |
2021.02.23 15:26:30.691301 [ 6085 ] {} <Error> DynamicQueryHandler: Code: 516, e.displayText() = DB::Exception: default: Authentication failed: password is incorrect or there is no user with such name, Stack trace (when copying this message, always include the lines below): 0. Poco::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0x1250e59c |
|
clickhouse-tomcat运行日志 |
<yyyy-MM-dd HH:mm:ss,SSS>|<Log Level><产生该日志的线程名字>|<log中的message>|<日志事件的发生位置> |
2022-08-16 12:55:12,109 | INFO | pool-7-thread-1 | zookeeper is secure. | com.huawei.bigdata.om.extui.clickhouse.service.impl.QueryServiceImpl.initAuthContext(QueryServiceImpl.java:136) |
|
数据迁移日志 |
<yyyy-MM-dd HH:mm:ss,SSS>|<Log Level><产生该日志的线程名字>|<log中的message>|<日志事件的发生位置> |
2022.08.07 14:41:01.814235 [ 28651 ] {} <Debug> ClusterCopier: Task /clickhouse/copier_tasks/TEST0807_02/tables/dblv85.startsea_zh_imoriginck_new/20201031/piece_4/shards/1 has been successfully executed by 8%2D5%2D226%2D156#20220807124849_28651 |
|
审计日志 |
<yyyy-MM-dd HH:mm:ss,SSS>|query id|<Log Level><产生该日志的线程名字>|<log中的message>|<日志事件的发生位置> |
2022.08.16 20:58:16.723643 [ 11382 ] {cc9554b6-8a26-42e9-8ab8-d848500544e6} <Information> executeQuery_audit [executeQuery.cpp:202] : (0 from 192.168.64.81:45204, user: clickhouse, using experimental parser) select shard_num, host_name, host_address from system.clusters format JSON |
