更新时间:2022-12-14 GMT+08:00

HetuEngine日志介绍

日志描述

日志存储路径:

HetuEngine的日志保存路径为“/var/log/Bigdata/hetuengine/”和“/var/log/Bigdata/audit/hetuengine/”。

日志归档规则

日志归档规则采用FixedWindowRollingPolicy策略,可配置项为单个文件最大值、日志归档的最大保留数目,具体规则如下:
  • 当单个文件超过默认单个文件最大值时,就会生成一个新的归档压缩文件,归档后的日志压缩文件命名规则为<原有日志名>.[编号].log.gz。
  • 日志归档文件数目达到最大值时,会删除最旧的日志文件。

审计日志默认单个文件最大值为30M,日志归档文件最大数目为20。

运行日志默认单个文件最大值为100M,日志归档文件最大数目为20。

如果需要修改实例的运行日志或审计日志的单个文件最大值或者日志归档文件最大数目,请执行如下操作:

  1. 登录Manager。
  2. 选择“集群 > 服务 > HetuEngine > 配置 > 全部配置 ”。
  3. 在参数列表中查看日志级别的参数,搜索“logback.xml”,可以看到HSBroker、HSConsole、HSFabric当前的运行日志和审计日志的配置。
  4. 选择要修改的配置项进行修改。
  5. 单击“保存”,然后单击“确定”,成功后等待大约30秒,配置自动生效。
表1 日志列表

日志类型

日志文件名

描述

安装启停日志

/var/log/Bigdata/hetuengine/hsbroker/prestart.log

HSBroker启动前预处理脚本日志。

/var/log/Bigdata/hetuengine/hsbroker/start.log

HSBroker Spring Boot的启动日志。

/var/log/Bigdata/hetuengine/hsbroker/stop.log

HSBroker的停止日志。

/var/log/Bigdata/hetuengine/hsbroker/postinstall.log

HSBroker的安装后日志。

/var/log/Bigdata/hetuengine/hsconsole/prestart.log

HSConsole启动前预处理脚本日志。

/var/log/Bigdata/hetuengine/hsconsole/start.log

HSConsole Spring Boot的启动日志。

/var/log/Bigdata/hetuengine/hsconsole/stop.log

HSConsole的停止日志。

/var/log/Bigdata/hetuengine/hsconsole/postinstall.log

HSConsole的安装后日志。

/var/log/Bigdata/hetuengine/hsfabric/prestart.log

HSFabric的启动前预处理脚本日志。

/var/log/Bigdata/hetuengine/hsfabric/start.log

HSFabric的启动日志。

/var/log/Bigdata/hetuengine/hsfabric/stop.log

HSFabric的停止日志。

/var/log/Bigdata/hetuengine/hsfabric/postinstall.log

HSFabric的安装后日志。

运行日志

/var/log/Bigdata/hetuengine/hsbroker/hsbroker.log

HSBroker的运行日志。

/var/log/Bigdata/hetuengine/hsconsole/hsconsole.log

HSConsole的运行日志。

/var/log/Bigdata/hetuengine/hsfabric/hsfabric.log

HSFabric的运行日志。

hdfs://hacluster/hetuserverhistory/租户/coordinator或worker/application_ID/container_ID/yyyyMMdd/server.log

HetuEngine计算实例的运行日志。

状态检测日志

/var/log/Bigdata/hetuengine/hsbroker/service_check.log

HSBroker健康检查日志。

/var/log/Bigdata/hetuengine/hsbroker/service_getstate.log

HSBroker状态检查日志。

/var/log/Bigdata/hetuengine/availability-check.log

HetuEngine服务是否可用状态检查日志。

/var/log/Bigdata/hetuengine/hsconsole/service_getstate.log

HSConsole状态检查日志。

/var/log/Bigdata/hetuengine/hsfabric/service_getstate.log

HSFabric状态检查日志。

审计日志

/var/log/Bigdata/audit/hetuengine/hsbroker/hsbroker-audit.log

HSBroker的审计日志。

/var/log/Bigdata/audit/hetuengine/hsconsole/hsconsole-audit.log

HSConsole的审计日志。

hdfs://hacluster/hetuserverhistory/租户/coordinator/application_ID/container_ID/yyyyMMdd/hetuserver-engine-audit.log

HetuEngine计算实例的审计日志。

/var/log/Bigdata/audit/hetuengine/hsfabric/hsfabric-audit.log

HSFabric的审计日志。

清理日志

/var/log/Bigdata/hetuengine/hsbroker/cleanup.log

HSBroker的清理脚本日志。

/var/log/Bigdata/hetuengine/hsconsole/cleanup.log

HSConsole的清理脚本日志。

/var/log/Bigdata/hetuengine/hsfabric/cleanup.log

HSFabric的清理脚本日志。

初始化日志

/var/log/Bigdata/hetuengine/hsbroker/hetupg.log

HSBroker的元数据初始化日志。

/var/log/Bigdata/hetuengine/hsconsole/hetupg.log

HSconsole的连接元数据日志

/var/log/Bigdata/hetuengine/ranger-presto-plugin-enable.log

Ranger插件集成到HetuEngine内核的操作日志。

日志级别

HetuEngine中提供了如表2所示的日志级别。日志级别优先级从高到低分别是OFF、ERROR、WARN、INFO、DEBUG。程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。

表2 日志级别

级别

描述

OFF

OFF表示不记录日志。

ERROR

ERROR表示记录当前时间处理存在错误信息。

WARN

WARN表示记录当前事件处理存在异常信息。

INFO

INFO表示记录系统及各事件正常运行状态信息。

DEBUG

DEBUG表示记录系统及系统的调试信息。

如果您需要修改实例的运行日志或审计日志级别,请执行如下操作:

  1. 登录FusionInsight Manager。
  2. 选择“集群 > 服务 > HetuEngine > 配置 > 全部配置 ”。
  3. 在参数列表中查看日志级别的参数,搜索“logback.xml”,可以看到HSBroker、HSConsole、HSFabric当前的运行日志和审计日志的级别。
  4. 选择所需修改的日志级别。
  5. 单击“保存”,然后单击“确定”,成功后等待大约30秒,配置自动生效。

如果要修改HetuEngine Coordinator/Worker日志级别,请执行如下操作:

  1. 登录FusionInsight Manager。
  2. 选择“集群 > 服务 > HetuEngine > 配置 > 全部配置 ”。
  3. 在参数列表中查看日志级别的参数,搜索“log.properties”,可以看到当前的日志级别。
  4. 选择所需修改的日志级别。
  5. 单击“保存”,然后单击“确定”,等待操作成功。
  6. 选择“集群 > 服务 > HetuEngine > 实例”,单击角色列表的HSBroker实例,选择“更多 > 重启实例”。
  7. 待HSBroker实例重启后,选择“集群 > 服务 > HetuEngine”在 概览页面单击“HSConsole WebUI”后的链接,进入计算实例界面。
  8. 选择计算实例,单击“停止”,待实例停止后,再单击“启动”重新启动计算实例。