更新时间:2026-08-21 GMT+08:00
分享

Hive日志介绍

在Hive集群运维和问题排查中,管理员和开发人员需要查看组件日志来定位故障原因、监控系统运行状态和审计用户操作行为。Hive作为MRS集群中的数据仓库服务,提供完整的日志体系覆盖HiveServer、MetaStore、WebHCat等多个角色的运行日志、审计日志和GC日志。了解Hive的日志存储路径、归档规则、日志级别和日志格式,有助于快速获取关键信息进行故障定位和安全审计。本文介绍Hive日志的存储路径、归档规则、日志级别和日志格式说明。

日志描述

日志路径:Hive相关日志的默认存储路径为“/var/log/Bigdata/hive/角色名”,Hive1相关日志的默认存储路径为“/var/log/Bigdata/hive1/角色名”,以此类推。

  • HiveServer:“/var/log/Bigdata/hive/hiveserver”(运行日志),“/var/log/Bigdata/audit/hive/hiveserver”(审计日志)。
  • MetaStore:“/var/log/Bigdata/hive/metastore”(运行日志),“/var/log/Bigdata/audit/hive/metastore”(审计日志)。
  • WebHCat:“/var/log/Bigdata/hive/webhcat”(运行日志),“/var/log/Bigdata/audit/hive/webhcat”(审计日志)。

日志归档规则:Hive的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过20MB的时候(此日志文件大小可进行配置),会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置。

表1 Hive日志列表

日志类型

日志文件名

描述

运行日志

/hiveserver/hiveserver.out

HiveServer运行环境信息日志。

/hiveserver/hive.log

HiveServer进程的运行日志。

/hiveserver/hive-omm-<日期>-<PID>-gc.log.<编号>

HiveServer进程的GC日志。

/hiveserver/prestartDetail.log

HiveServer启动前的工作日志。

/hiveserver/check-serviceDetail.log

Hive服务启动是否成功的检查日志。

/hiveserver/cleanupDetail.log

HiveServer卸载的清理日志。

/hiveserver/startDetail.log

HiveServer进程启动日志。

/hiveserver/stopDetail.log

HiveServer进程停止日志。

/hiveserver/localtasklog/omm_<日期>_<任务ID>.log

Hive本地任务的运行日志。

/hiveserver/localtasklog/omm_<日期>_<任务ID>-gc.log.<编号>

Hive本地任务的GC日志。

/metastore/metastore.log

MetaStore进程的运行日志。

/metastore/hive-omm-<日期>-<PID>-gc.log.<编号>

MetaStore进程的GC日志。

/metastore/postinstallDetail.log

MetaStore安装后的工作日志。

/metastore/prestartDetail.log

MetaStore启动前的工作日志。

/metastore/cleanupDetail.log

MetaStore卸载的清理日志。

/metastore/startDetail.log

MetaStore进程启动日志。

/metastore/stopDetail.log

MetaStore进程停止日志。

/metastore/metastore.out

MetaStore运行环境信息日志。

/webhcat/webhcat-console.out

Webhcat进程启停正常日志。

/webhcat/webhcat-console-error.out

Webhcat进程启停异常日志。

/webhcat/prestartDetail.log

WebHCat启动前的工作日志。

/webhcat/cleanupDetail.log

Webhcat卸载时或安装前的清理日志。

/webhcat/hive-omm-<日期>-<PID>-gc.log.<编号>

WebHCat进程的GC日志。

/webhcat/webhcat.log

WebHCat进程的运行日志。

审计日志

hive-audit.log

hive-rangeraudit.log

HiveServer审计日志。

metastore-audit.log

MetaStore审计日志。

webhcat-audit.log

WebHCat审计日志。

jetty-<日期>.request.log

Jetty服务的请求日志。

日志级别

Hive提供了如表2所示的日志级别。

运行日志的级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG,程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。

表2 日志级别

级别

描述

ERROR

ERROR表示系统运行的错误信息。

WARN

WARN表示当前事件处理存在异常信息。

INFO

INFO表示记录系统及各事件正常运行状态信息。

DEBUG

DEBUG表示记录系统及系统的调试信息。

如果您需要修改日志级别,请执行如下操作:

  1. 参考修改集群服务配置参数,进入Hive服务“全部配置”页面。
  2. 左边菜单栏中选择所需修改的角色所对应的日志菜单。
  3. 选择所需修改的日志级别并保存。

    配置Hive日志级别后可立即生效,无需重启服务。

验证操作:

修改日志级别后,通过客户端执行Hive操作触发日志记录,检查对应日志文件中的日志输出级别是否与设置一致(如设置为WARN后日志中不再出现INFO级别信息),则表示日志级别修改生效。

日志格式

Hive的运行日志和审计日志使用统一的日志格式规范,便于日志采集系统解析和检索。不同角色的日志格式略有差异。

表3 日志格式

日志类型

格式

示例

运行日志

<yyyy-MM-dd HH:mm:ss,SSS>|<LogLevel>|<产生该日志的线程名字>|<log中的message>|<日志事件的发生位置>

2014-11-05 09:45:01,242 | INFO | main | Starting hive metastore on port 21088 | org.apache.hadoop.hive.metastore.HiveMetaStore.main(HiveMetaStore.java:5198)

审计日志

<yyyy-MM-dd HH:mm:ss,SSS>|<LogLevel>|<产生该日志的线程名字>|<User Name><User IP><Time><Operation><Resource><Result><Detail >|<日志事件的发生位置>

2018-12-24 12:16:25,319 | INFO | HiveServer2-Handler-Pool: Thread-185 | UserName=hive UserIP=10.153.2.204 Time=2018/12/24 12:16:25 Operation=CloseSession Result=SUCCESS Detail= | org.apache.hive.service.cli.thrift.ThriftCLIService.logAuditEvent(ThriftCLIService.java:434)

常见问题

  • 如何下载Hive日志

    了解如何下载MRS集群日志,请参考下载MRS集群日志。也可以直接通过SSH登录Master节点,使用文件传输工具(如WinSCP)下载本地日志文件。

  • 日志文件数量过多占用磁盘空间

    当业务负载较高或日志级别设置为DEBUG时,日志文件增长速度加快,归档文件数量和大小可能达到配置上限,系统会自动删除最旧归档以释放空间,但如果磁盘容量本身较小仍可能出现空间不足。

    可以通过修改日志参数调整归档文件最大值和保留数目,减小归档文件单个文件大小和总大小。同时将日志级别调整为INFO或WARN,减少非必要的日志输出。定期将历史日志归档到外部存储(如OBS)以长期保存。

  • 修改日志级别后计算实例未生效

    Hive日志级别修改后无需重启服务,配置完成后立即生效。如果修改后未生效,可能是操作路径错误或未正确保存配置。

    请确认在Manager的Hive配置页面正确选择了角色对应的日志菜单,并成功保存配置。如仍不生效,请检查是否有多个Hive实例,确认修改的是目标实例的配置。

相关文档

相关文档