# Hive日志介绍
在Hive集群运维和问题排查中，管理员和开发人员需要查看组件日志来定位故障原因、监控系统运行状态和审计用户操作行为。Hive作为MRS集群中的数据仓库服务，提供完整的日志体系覆盖HiveServer、MetaStore、WebHCat等多个角色的运行日志、审计日志和GC日志。了解Hive的日志存储路径、归档规则、日志级别和日志格式，有助于快速获取关键信息进行故障定位和安全审计。本文介绍Hive日志的存储路径、归档规则、日志级别和日志格式说明。
#### 日志描述
**日志路径**：Hive相关日志的默认存储路径为"/var/log/Bigdata/hive/角色名"，Hive1相关日志的默认存储路径为"/var/log/Bigdata/hive1/角色名"，以此类推。
- HiveServer："/var/log/Bigdata/hive/hiveserver"（运行日志），"/var/log/Bigdata/audit/hive/hiveserver"（审计日志）。
- MetaStore："/var/log/Bigdata/hive/metastore"（运行日志），"/var/log/Bigdata/audit/hive/metastore"（审计日志）。
- WebHCat："/var/log/Bigdata/hive/webhcat"（运行日志），"/var/log/Bigdata/audit/hive/webhcat"（审计日志）。
**日志归档规则**：Hive的日志启动了自动压缩归档功能，缺省情况下，当日志大小超过20MB的时候（此日志文件大小可进行配置），会自动压缩，压缩后的日志文件名规则为："\<原有日志名\>-\<yyyy-mm-dd_hh-mm-ss\>.\[编号\].log.zip"。最多保留最近的20个压缩文件，压缩文件保留个数和压缩文件阈值可以配置。
表1Hive日志列表 
| 日志类型 | 日志文件名                                                            | 描述                   |
|:---|:---|:---|
| 运行日志 | /hiveserver/hiveserver.out                                       | HiveServer运行环境信息日志。  |
| 运行日志 | /hiveserver/hive.log                                             | HiveServer进程的运行日志。   |
| 运行日志 | /hiveserver/hive-omm-\<日期\>-\<PID\>-gc.log.\<编号\>                | HiveServer进程的GC日志。   |
| 运行日志 | /hiveserver/prestartDetail.log                                   | HiveServer启动前的工作日志。  |
| 运行日志 | /hiveserver/check-serviceDetail.log                              | Hive服务启动是否成功的检查日志。   |
| 运行日志 | /hiveserver/cleanupDetail.log                                    | HiveServer卸载的清理日志。   |
| 运行日志 | /hiveserver/startDetail.log                                      | HiveServer进程启动日志。    |
| 运行日志 | /hiveserver/stopDetail.log                                       | HiveServer进程停止日志。    |
| 运行日志 | /hiveserver/localtasklog/omm_\<日期\>_\<任务ID\>.log                 | Hive本地任务的运行日志。       |
| 运行日志 | /hiveserver/localtasklog/omm_\<日期\>_\<任务ID\>-gc.log.\<编号\>       | Hive本地任务的GC日志。       |
| 运行日志 | /metastore/metastore.log                                         | MetaStore进程的运行日志。    |
| 运行日志 | /metastore/hive-omm-\<日期\>-\<PID\>-gc.log.\<编号\>                 | MetaStore进程的GC日志。    |
| 运行日志 | /metastore/postinstallDetail.log                                 | MetaStore安装后的工作日志。   |
| 运行日志 | /metastore/prestartDetail.log                                    | MetaStore启动前的工作日志。   |
| 运行日志 | /metastore/cleanupDetail.log                                     | MetaStore卸载的清理日志。    |
| 运行日志 | /metastore/startDetail.log                                       | MetaStore进程启动日志。     |
| 运行日志 | /metastore/stopDetail.log                                        | MetaStore进程停止日志。     |
| 运行日志 | /metastore/metastore.out                                         | MetaStore运行环境信息日志。   |
| 运行日志 | /webhcat/webhcat-console.out                                     | Webhcat进程启停正常日志。     |
| 运行日志 | /webhcat/webhcat-console-error.out                               | Webhcat进程启停异常日志。     |
| 运行日志 | /webhcat/prestartDetail.log                                      | WebHCat启动前的工作日志。     |
| 运行日志 | /webhcat/cleanupDetail.log                                       | Webhcat卸载时或安装前的清理日志。 |
| 运行日志 | /webhcat/hive-omm-\<日期\>-\<PID\>-gc.log.\<编号\>                   | WebHCat进程的GC日志。      |
| 运行日志 | /webhcat/webhcat.log                                             | WebHCat进程的运行日志。      |
| 审计日志 | hive-audit.log hive-rangeraudit.log | HiveServer审计日志。      |
| 审计日志 | metastore-audit.log                                              | MetaStore审计日志。       |
| 审计日志 | webhcat-audit.log                                                | WebHCat审计日志。         |
| 审计日志 | jetty-\<日期\>.request.log                                         | Jetty服务的请求日志。        |
   
#### 日志级别
Hive提供了如[表2]所示的日志级别。
运行日志的级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG，程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。
 表2日志级别 
| **级别** | **描述**                  |
|:---|:---|
| ERROR  | ERROR表示系统运行的错误信息。       |
| WARN   | WARN表示当前事件处理存在异常信息。     |
| INFO   | INFO表示记录系统及各事件正常运行状态信息。 |
| DEBUG  | DEBUG表示记录系统及系统的调试信息。    |
   
如果您需要修改日志级别，请执行如下操作：
1. 参考[修改集群服务配置参数](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_2125.html)，进入Hive服务"全部配置"页面。
2. 左边菜单栏中选择所需修改的角色所对应的日志菜单。
3. 选择所需修改的日志级别并保存。 
   ![](https://support.huaweicloud.com/cmpntguide-lts-mrs/public_sys-resources/note_3.0-zh-cn.png)
   配置Hive日志级别后可立即生效，无需重启服务。
   
   
**验证操作：**
修改日志级别后，通过客户端执行Hive操作触发日志记录，检查对应日志文件中的日志输出级别是否与设置一致（如设置为WARN后日志中不再出现INFO级别信息），则表示日志级别修改生效。
#### 日志格式
Hive的运行日志和审计日志使用统一的日志格式规范，便于日志采集系统解析和检索。不同角色的日志格式略有差异。
表3日志格式 
| 日志类型 | 格式                                                                                                                                                       | 示例                                                                                                                                                                                                                                                                                  |
|:---|:---|:---|
| 运行日志 | \<yyyy-MM-dd HH:mm:ss,SSS\>\|\<LogLevel\>\|\<产生该日志的线程名字\>\|\<log中的message\>\|\<日志事件的发生位置\>                                                               | 2014-11-05 09:45:01,242 \| INFO \| main \| Starting hive metastore on port 21088 \| org.apache.hadoop.hive.metastore.HiveMetaStore.main(HiveMetaStore.java:5198)                                                                                                                    |
| 审计日志 | \<yyyy-MM-dd HH:mm:ss,SSS\>\|\<LogLevel\>\|\<产生该日志的线程名字\>\|\<User Name\>\<User IP\>\<Time\>\<Operation\>\<Resource\>\<Result\>\<Detail \>\|\<日志事件的发生位置\> | 2018-12-24 12:16:25,319 \| INFO \| HiveServer2-Handler-Pool: Thread-185 \| UserName=hive UserIP=10.153.2.204 Time=2018/12/24 12:16:25 Operation=CloseSession Result=SUCCESS Detail= \| org.apache.hive.service.cli.thrift.ThriftCLIService.logAuditEvent(ThriftCLIService.java:434) |
   
#### 常见问题
- **如何下载Hive日志**
  了解如何下载MRS集群日志，请参考[下载MRS集群日志](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0267.html)。也可以直接通过SSH登录Master节点，使用文件传输工具（如WinSCP）下载本地日志文件。
  
- **日志文件数量过多占用磁盘空间**
  当业务负载较高或日志级别设置为DEBUG时，日志文件增长速度加快，归档文件数量和大小可能达到配置上限，系统会自动删除最旧归档以释放空间，但如果磁盘容量本身较小仍可能出现空间不足。
  可以通过修改日志参数调整归档文件最大值和保留数目，减小归档文件单个文件大小和总大小。同时将日志级别调整为INFO或WARN，减少非必要的日志输出。定期将历史日志归档到外部存储（如OBS）以长期保存。
  
- **修改日志级别后计算实例未生效**
  Hive日志级别修改后无需重启服务，配置完成后立即生效。如果修改后未生效，可能是操作路径错误或未正确保存配置。
  请确认在Manager的Hive配置页面正确选择了角色对应的日志菜单，并成功保存配置。如仍不生效，请检查是否有多个Hive实例，确认修改的是目标实例的配置。
  
 
#### 相关文档
- 如需在Manager在线检索HDFS或者其他组件日志，请参考[在线检索MRS集群日志](https://support.huaweicloud.com/usermanual-mrs/admin_guide_000074.html)。
- 了解如何下载MRS集群日志，请参考[下载MRS集群日志](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0267.html)。
- 如需查看组件各角色实例的日志内容并下载指定日志文件，请参考[查看MRS组件角色实例日志](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300080.html)。