更新时间:2023-03-17 GMT+08:00

关于日志

日志描述

MRS集群的日志保存路径为“/var/log/Bigdata”。日志分类见下表:

表1 日志分类一览表

日志类型

日志描述

安装日志

安装日志记录了Manager、集群和服务安装的程序信息,可用于定位安装出错的问题。

运行日志

运行日志记录了集群各服务运行产生的运行轨迹信息及调试信息、状态变迁、未产生影响的潜在问题和直接的错误信息。

审计日志

审计日志中记录了用户活动信息和用户操作指令信息,可用于安全事件中定位问题原因及划分事故责任。

MRS日志目录清单见下表:

表2 日志目录一览表

文件目录

日志内容

/var/log/Bigdata/audit

组件审计日志。

/var/log/Bigdata/controller

日志采集脚本日志。

controller进程日志。

controller监控日志。

/var/log/Bigdata/dbservice

DBService日志。

/var/log/Bigdata/flume

Flume日志。

/var/log/Bigdata/hbase

HBase日志。

/var/log/Bigdata/hdfs

HDFS日志。

/var/log/Bigdata/hive

Hive日志。

/var/log/Bigdata/httpd

httpd日志。

/var/log/Bigdata/hue

Hue日志。

/var/log/Bigdata/kerberos

Kerberos日志。

/var/log/Bigdata/ldapclient

LDAP客户端日志。

/var/log/Bigdata/ldapserver

LDAP服务端日志。

/var/log/Bigdata/loader

Loader日志。

/var/log/Bigdata/logman

logman脚本日志管理日志。

/var/log/Bigdata/mapreduce

MapReduce日志。

/var/log/Bigdata/nodeagent

NodeAgent日志。

/var/log/Bigdata/okerberos

OMS Kerberos日志。

/var/log/Bigdata/oldapserver

OMS LDAP日志。

/var/log/Bigdata/metric_agent

MetricAgent运行日志。

/var/log/Bigdata/omm

oms:“omm”服务端的复杂事件处理日志、告警服务日志、HA日志、认证与授权管理日志和监控服务运行日志。

oma:“omm”代理端的安装运行日志。

core:“omm”代理端与“HA”进程失去响应的dump日志。

/var/log/Bigdata/spark2x

Spark2x日志。

/var/log/Bigdata/sudo

omm执行sudo命令产生的日志。

/var/log/Bigdata/timestamp

时间同步管理日志。

/var/log/Bigdata/tomcat

Tomcat日志。

/var/log/Bigdata/watchdog

Watchdog日志。

/var/log/Bigdata/yarn

Yarn日志。

/var/log/Bigdata/zookeeper

ZooKeeper日志。

/var/log/Bigdata/oozie

Oozie日志。

/var/log/Bigdata/kafka

Kafka日志。

/var/log/Bigdata/storm

Storm日志。

/var/log/Bigdata/upgrade

升级OMS日志。

/var/log/Bigdata/update-service

升级服务日志。

启用多实例功能后,如果系统管理员添加了多个HBase、Hive和Spark服务的实例,新增加服务实例的日志描述、日志级别和日志格式,与原服务日志相同。服务实例的日志将独立保存在名为“/var/log/Bigdata/servicenameN”的目录中,HBase和Hive服务实例的审计日志保存在名为“/var/log/Bigdata/audit/servicenameN”的目录中。以HBase1为例,对应日志分别保存在“/var/log/Bigdata/hbase1”和“/var/log/Bigdata/audit/hbase1”。

安装日志

表3 安装信息一览表

安装日志

日志描述

安装配置日志

记录了安装前配置过程的信息。

安装Manager日志

记录了安装双机Manager操作的信息。

安装集群日志

记录了安装集群步骤的信息。

运行日志

运行日志记录的运行信息描述如表4所示。

表4 运行信息一览表

运行日志

日志描述

服务安装前的准备日志

记录服务安装前的准备工作,如检测、配置和反馈操作的信息。

进程启动日志

记录进程启动过程中执行的命令信息。

进程启动异常日志

记录进程启动失败时产生异常的信息,如依赖服务错误、资源不足等

进程运行日志

记录进程运行轨迹信息及调试信息,如函数入口和出口打印、模块间接口消息等。

进程运行异常日志

记录导致进程运行时错误的错误信息,如输入对象为空、编解码失败等错误。

进程运行环境信息日志

记录进程运行环境的信息,如资源状态、环境变量等。

脚本日志

记录脚本执行的过程信息。

资源回收日志

记录资源回收的过程信息。

服务卸载时的清理日志

记录卸载服务时执行的步骤操作信息,如清除目录数据、执行时间等

审计日志

审计日志记录的审计信息包含Manager审计信息和组件审计信息。

表5 Manager审计信息一览表

操作类型

操作

用户管理

创建用户

修改用户

删除用户

创建组

修改组

删除组

添加角色

修改角色

删除角色

密码策略修改

修改密码

密码重置

用户登录

用户注销

屏幕解锁

下载认证凭据

用户越权操作

用户帐号解锁

用户帐号锁定

屏幕锁定

导出用户

导出用户组

导出角色

集群

启动集群

停止集群

重启集群

滚动重启集群

重启所有过期实例

保存配置

同步集群配置

定制集群监控指标

配置监控转储

保存监控阈值

下载客户端配置

北向Syslog接口配置

北向SNMP接口配置

SNMP清除告警

SNMP添加trap目标

SNMP删除trap目标

SNMP检查告警

SNMP同步告警

创建阈值模板

删除阈值模板

应用阈值模板

保存集群监控配置数据

导出配置数据

导入集群配置数据

导出安装模板

修改阈值模板

取消阈值模板应用

屏蔽告警

发送告警

修改OMS数据库密码

重置组件数据库密码

重启OMM和Controller

启动集群的健康检查

导入证书文件

配置SSO信息

删除健康检查历史报告

修改集群属性

同步维护命令

异步维护命令

定制报表监控指标

导出报表监控数据

SNMP执行异步命令

重启WEB服务

定制静态资源池监控指标

导出静态资源池监控数据

定制主页监控指标

中止任务

还原配置

修改域和互信的配置

修改系统参数

集群进入维护模式

集群退出维护模式

OMS进入维护模式

OMS退出维护模式

批量退出维护模式

修改OMS配置

启用阈值告警

同步所有集群配置

服务

启动服务

停止服务

同步服务配置

刷新服务队列

定制服务监控指标

重启服务

滚动重启服务

导出服务监控数据

导入服务配置数据

启动服务的健康检查

服务配置

上传配置文件

下载配置文件

同步实例配置

实例入服

实例退服

启动实例

停止实例

定制实例监控指标

重启实例

滚动重启实例

导出实例监控数据

导入实例配置数据

创建实例组

修改实例组

删除实例组

移动到另一个实例组

服务进入维护模式

服务退出维护模式

修改服务显示名称

修改服务关联关系

下载监控数据

屏蔽告警

取消屏蔽告警

导出服务的报表数据

添加报表的自定义参数

修改报表的自定义参数

删除报表的自定义参数

倒换控制节点

新增挂载表

修改挂载表

主机

设置节点机架

启动所有角色

停止所有角色

隔离主机

取消隔离主机

定制主机监控指标

导出主机监控数据

主机进入维护模式

主机退出维护模式

导出主机基本信息

导出主机分布的报表数据

导出主机趋势的报表数据

导出主机集群的报表数据

导出服务的报表数据

定制主机集群监控指标

定制主机趋势监控指标

告警

导出告警

清除告警

导出事件

批量清除告警

采集日志

采集日志文件

下载日志文件

采集服务堆栈信息

采集实例堆栈信息

准备服务堆栈信息

准备实例堆栈信息

清理服务堆栈信息

清理实例堆栈信息

审计日志

修改审计转储配置

导出审计日志

备份恢复

创建备份任务

执行备份任务

批量执行备份任务

停止备份任务

删除备份任务

修改备份任务

锁定备份任务

解锁备份任务

创建恢复任务

执行恢复任务

停止恢复任务

重试恢复任务

删除恢复任务

多租户

保存静态配置

添加租户

删除租户

关联租户服务

删除租户服务

配置资源

创建资源

删除资源

增加资源池

修改资源池

删除资源池

恢复租户数据

修改租户全局配置

修改容量调度器队列配置

修改超级调度器队列配置

修改容量调度器资源分布

清除容量调度器资源分布

修改超级调度器资源分布

清除超级调度器资源分布

添加资源目录

修改资源目录

删除资源目录

定制租户监控指标

健康检查

启动集群的健康检查

启动服务的健康检查

启动主机的健康检查

启动oms健康检查

启动系统的健康检查

更新健康检查的配置

导出健康检查报告

导出集群健康检查的结果

导出服务健康检查的结果

导出主机健康检查的结果

删除健康检查历史报告

导出健康检查历史报告

下载健康检查报告

表6 组件审计信息一览表

审计日志

操作类型

操作

ClickHouse审计日志

维护管理

授权

收回权限

认证和登录信息

业务操作

创建数据库/表

插入、删除、查询、执行数据迁移任务

DBService审计日志

维护管理

备份恢复操作

HBase审计日志

DDL(数据定义)语句

创建表

删除表

修改表

增加列族

修改列族

删除列族

启用表

禁用表

用户信息修改

修改密码

用户登录

DML(数据操作)语句

put数据(针对hbase:meta表、_ctmeta_表和hbase:acl表)

删除数据(针对hbase:meta表、_ctmeta_表和hbase:acl表)

检查并put数据(针对hbase:meta表、_ctmeta_表和hbase:acl表)

检查并删除数据(针对hbase:meta表、_ctmeta_表和hbase:acl表)

权限控制

给用户授权

取消用户授权

HDFS审计日志

权限管理

文件/文件夹访问权限

文件/文件夹owner信息

文件操作

创建文件夹

创建文件

打开文件

追加文件内容

修改文件名称

删除文件/文件夹

设置文件时间属性

设置文件副本个数

多文件合并

文件系统检查

文件链接

Hive审计日志

元数据操作

元数据定义,如创建数据库、表等

元数据删除,如删除数据库、表等

元数据修改,如增加列、重命名表等

元数据导入/导出

数据维护

向表中加载数据

向表中插入数据

权限管理

创建/删除角色

授予/回收角色

授予/回收权限

Hue审计日志

服务启动

启动Hue

用户操作

用户登录

用户退出

任务操作

创建任务

修改任务

删除任务

提交任务

保存任务

任务状态更新

KrbServer审计日志

维护管理

修改kerberos帐号密码

添加kerberos帐号

删除kerberos帐号

用户认证

LdapServer审计日志

维护管理

添加操作系统用户

添加组

添加用户到组

删除用户

删除组

Loader审计日志

安全管理

用户登录

元数据管理

查询connector

查询framework

查询step

数据源连接管理

查询数据源连接

增加数据源连接

更新数据源连接

删除数据源连接

激活数据源连接

禁用数据源连接

作业管理

查询作业

创建作业

更新作业

删除作业

激活作业

禁用作业

查询作业所有执行记录

查询作业最近执行记录

提交作业

停止作业

Mapreduce审计日志

程序运行

启动Container请求

停止Container请求

Container结束,状态为成功

Container结束,状态为失败

Container结束,状态为中止

提交任务

结束任务

Oozie审计日志

任务管理

提交任务

启动任务

kill任务

暂停任务

恢复任务

重新运行任务

Spark2x审计日志

元数据操作

元数据定义,如创建数据库、表等

元数据删除,如删除数据库、表等

元数据修改,如增加列、重命名表等

元数据导入/导出

数据维护

向表中加载数据

向表中插入数据

Storm审计日志

Nimbus

提交拓扑

中止拓扑

重分配拓扑

去激活拓扑

激活拓扑

UI

中止拓扑

重分配拓扑

去激活拓扑

激活拓扑

Yarn审计日志

任务提交

提交作业到队列相关的操作

Zookeeper审计日志

权限管理

设置ZNODE访问权限

ZNODE操作

创建ZNODE

删除ZNODE

设置ZNODE数据

FusionInsight Manager的审计日志保存在数据库中,可通过“审计”页面查看及导出审计日志。

组件审计日志的文件信息见下表。部分组件审计日志文件保存在“/var/log/Bigdata/audit”,例如HDFS、HBase、Mapreduce、Hive、Hue、Yarn、Storm和ZooKeeper。每天凌晨3点自动将组件审计日志压缩备份到“/var/log/Bigdata/audit/bk”,最多保留最近的90个压缩备份文件,不支持修改备份时间。配置保留个数,请参见配置审计日志本地备份数

其他组件审计日志文件保存在组件日志目录中。

表7 组件审计日志目录

组件名称

审计日志目录

DBService

/var/log/Bigdata/audit/dbservice/dbservice_audit.log

HBase

/var/log/Bigdata/audit/hbase/hm/hbase-audit-hmaster.log

/var/log/Bigdata/audit/hbase/hm/hbase-ranger-audit-hmaster.log

/var/log/Bigdata/audit/hbase/rs/hbase-audit-regionserver.log

/var/log/Bigdata/audit/hbase/rs/hbase-ranger-audit-regionserver.log

/var/log/Bigdata/audit/hbase/rt/hbase-audit-restserver.log

/var/log/Bigdata/audit/hbase/ts/hbase-audit-thriftserver.log

HDFS

/var/log/Bigdata/audit/hdfs/nn/hdfs-audit-namenode.log

/var/log/Bigdata/audit/hdfs/nn/ranger-plugin-audit.log

/var/log/Bigdata/audit/hdfs/dn/hdfs-audit-datanode.log

/var/log/Bigdata/audit/hdfs/jn/hdfs-audit-journalnode.log

/var/log/Bigdata/audit/hdfs/zkfc/hdfs-audit-zkfc.log

/var/log/Bigdata/audit/hdfs/httpfs/hdfs-audit-httpfs.log

/var/log/Bigdata/audit/hdfs/router/hdfs-audit-router.log

Hive

/var/log/Bigdata/audit/hive/hiveserver/hive-audit.log

/var/log/Bigdata/audit/hive/hiveserver/hive-rangeraudit.log

/var/log/Bigdata/audit/hive/metastore/metastore-audit.log

/var/log/Bigdata/audit/hive/webhcat/webhcat-audit.log

Hue

/var/log/Bigdata/audit/hue/hue-audits.log

Kafka

/var/log/Bigdata/audit/kafka/audit.log

Loader

/var/log/Bigdata/loader/audit/default.audit

Mapreduce

/var/log/Bigdata/audit/mapreduce/jobhistory/mapred-audit-jobhistory.log

Oozie

/var/log/Bigdata/audit/oozie/oozie-audit.log

Spark2x

/var/log/Bigdata/audit/spark2x/jdbcserver/jdbcserver-audit.log

/var/log/Bigdata/audit/spark2x/jdbcserver/ranger-audit.log

/var/log/Bigdata/audit/spark2x/jobhistory/jobhistory-audit.log

Storm

/var/log/Bigdata/audit/storm/logviewer/audit.log

/var/log/Bigdata/audit/storm/nimbus/audit.log

/var/log/Bigdata/audit/storm/supervisor/audit.log

/var/log/Bigdata/audit/storm/ui/audit.log

Yarn

/var/log/Bigdata/audit/yarn/rm/yarn-audit-resourcemanager.log

/var/log/Bigdata/audit/yarn/rm/ranger-plugin-audit.log

/var/log/Bigdata/audit/yarn/nm/yarn-audit-nodemanager.log

ZooKeeper

/var/log/Bigdata/audit/zookeeper/quorumpeer/zk-audit-quorumpeer.log