HetuEngine日志介绍
日志描述
日志存储路径：
HetuEngine的日志保存路径为“/var/log/Bigdata/hetuengine/”和“/var/log/Bigdata/audit/hetuengine/”。
日志归档规则：
审计日志默认单个文件最大值为30MB，日志归档文件最大数目为20。
运行日志默认单个文件最大值为100MB，日志归档文件最大数目为20，其中HetuEngine计算实例运行日志单个文件最大值为100MB，归档在HDFS上的日志默认保留30天。
如果需要修改实例的运行日志或审计日志的单个文件最大值或者日志归档文件最大数目，请执行如下操作：
- 登录MRS集群Manager。
登录集群Manager具体操作，请参考访问MRS集群Manager。
- 选择“集群 > 服务 > HetuEngine > 配置 > 全部配置 ”。
- 在参数列表中查看日志级别的参数，搜索“logback.xml”，可以看到HSBroker、HSConsole、HSFabric、QAS当前的运行日志和审计日志的配置。
HetuEngine计算实例运行日志相关参数：
- log.clean.task.enabled：是否开启计算实例日志自动定时清理。
- log.clean.task.expire-time.day：计算实例日志归档在HDFS的过期时间，默认值：30天。
- log.max-history：计算实例日志在本地的最大保留时间，默认值：7天。
- log.clean.task.schedule.plan：自动清理计算实例日志的调度计划。值为cron表达式，此处仅允许指定一天中固定的触发时间。
- log.max-size：HetuEngine计算实例单个日志文件的最大值，默认值：100MB。
- log.max-total-size：HetuEngine计算实例日志压缩文件总体最大值，默认值：5GB。
- 选择要修改的配置项进行修改。
- 单击“保存”，然后单击“确定”，成功后等待大约30秒，配置自动生效。
日志类别 | 日志文件名 | 描述 |
|---|---|---|
安装启停日志 | prestart.log | 启动前预处理脚本日志。 |
start.log | 启动日志。 | |
stop.log | 停止日志。 | |
postinstall.log | 安装日志。 | |
运行日志 | 实例名.log | 运行日志。 |
实例名_wsf.log | 接口参数校验日志。 | |
hdfs://hacluster/hetuserverhistory/租户/coordinator或worker/application_ID/container_ID/yyyyMMdd/server.log | HetuEngine计算实例的运行日志。 | |
状态检查日志 | service_check.log | 健康检查日志。 |
service_getstate.log | 状态检查日志。 | |
availability-check.log | HetuEngine服务是否可用状态检查日志。 | |
haCheck.log | QAS检查高可用状态打印的日志。 | |
审计日志 | 实例名-audit.log | 审计日志。 |
hsbroker-audit.log | HSBroker操作的审计日志。 | |
hsconsole-audit.log | HSConsole操作的审计日志。 | |
hsfabric-audit.log | HetuEngine跨域查询操作的审计日志。 | |
hdfs://hacluster/hetuserverhistory/租户/coordinator/application_ID/container_ID/yyyyMMdd/hetuserver-engine-audit.log | HetuEngine计算实例的审计日志。 | |
queryInfo日志 | hdfs://hacluster/hetuserverhistory/租户/coordinator/application_ID/container_ID/yyyyMMdd/queryinfo.log | HetuEngine计算实例的queryInfo日志，SQL运行的统计信息。 |
清理日志 | cleanup.log | 清理脚本日志。 |
初始化日志 | hetupg.log | 元数据初始化日志。 |
ranger-trino-plugin-enable.log | Ranger插件集成到HetuEngine内核的操作日志。 | |
客户端日志 | qas_client.log | QAS实例ZooKeeper客户端日志。 |
堆栈信息日志 | threadDump-<DATE>.log | 实例重启或实例停止时会打印。 |
其他 | hetu-updateKrb5.log | 部署Hive集群更换域后，Hive数据源配置自动刷新时打印的日志。 |
hetu_utils.log | 启动时预处理脚本调用工具类上传文件到HDFS时打印的日志。 |
日志级别
HetuEngine中提供了如表2所示的日志级别。日志级别优先级从高到低分别是OFF、ERROR、WARN、INFO、DEBUG。程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。
级别 | 描述 |
|---|---|
OFF | OFF表示不记录日志。 |
ERROR | ERROR表示记录当前时间处理存在错误信息。 |
WARN | WARN表示记录当前事件处理存在异常信息。 |
INFO | INFO表示记录系统及各事件正常运行状态信息。 |
DEBUG | DEBUG表示记录系统及系统的调试信息。 |
如果您需要修改实例的运行日志或审计日志级别，请执行如下操作：
- 登录MRS集群Manager。
登录集群Manager具体操作，请参考访问MRS集群Manager。
- 选择“集群 > 服务 > HetuEngine > 配置 > 全部配置 ”。
- 在参数列表中查看日志级别的参数，搜索“logback.xml”，可以看到HSBroker、HSConsole、HSFabric当前的运行日志和审计日志的级别。
- 选择所需修改的日志级别。
- 单击“保存”，然后单击“确定”，成功后等待大约30秒，配置自动生效。
如果需要修改HetuEngine Coordinator/Worker日志级别，请执行如下操作：
- 登录MRS集群Manager。
登录集群Manager具体操作，请参考访问MRS集群Manager。
- 选择“集群 > 服务 > HetuEngine > 配置 > 全部配置 ”。
- 在参数列表中查看日志级别的参数，搜索“log.properties”，可以看到当前的日志级别。
- 选择所需修改的日志级别。
- 单击“保存”，然后单击“确定”，等待操作成功。
- 选择“集群 > 服务 > HetuEngine > 实例”，单击角色列表的HSBroker实例，选择“更多 > 重启实例”。
- 待HSBroker实例重启后，选择“集群 > 服务 > HetuEngine”在 概览页面单击“HSConsole WebUI”后的链接，进入计算实例界面。
- 选择待重启的计算实例，单击“停止”，待全部实例停止后，再单击“启动”重新启动计算实例。
日志格式
HetuEngine的日志格式如下所示：
日志类型 | 格式 | 示例 |
|---|---|---|
运行日志 | <yyyy-MM-dd HH:mm:ss,SSS>|<Log Level>|<产生该日志的线程名字>|<log中的message>|<日志事件的发生位置> | 2024-05-22 06:03:35,696 | INFO | main | Construct zooKeeper helper finished. | com.xxx.hetuserver.hsbroker.core.zookeeper.ZooKeeperClient (ZooKeeperClient.java:312) |
审计日志 | <yyyy-MM-dd HH:mm:ss,SSS>|<Log Level>|<产生该日志的线程名字>| UserName=<用户名称> UserIP=<用户IP> Time=<事件时间> Operation=<操作内容> Result=<操作结果> Detail=<具体信息> | xxx | 2024-05-22 14:12:24,967 | INFO | https-jsse-nio-192.168.43.244-29860-exec-10 | UserName=hetuserver/hadoop.eef78bf6_bce3_47ff_b808_ec90ae6f6a2a.com@EEF78BF6_BCE3_47FF_B808_EC90AE6F6A2A.COM UserIP=192.168.43.244 Time=2024-05-22 14:12:24 Operation=Login stmt={kerberos login} Result=SUCCESS Detail=SUCCESS | audit xxx |
