网络
虚拟私有云 VPC
弹性公网IP EIP
弹性负载均衡 ELB
NAT网关 NAT
云专线 DC
虚拟专用网络 VPN
云连接 CC
VPC终端节点 VPCEP
企业路由器 ER
企业交换机 ESW
全球加速 GA
企业连接 EC
云原生应用网络 ANC
安全与合规
安全技术与应用
Web应用防火墙 WAF
企业主机安全 HSS
云防火墙 CFW
安全云脑 SecMaster
DDoS防护 AAD
数据加密服务 DEW
数据库安全服务 DBSS
云堡垒机 CBH
数据安全中心 DSC
云证书管理服务 CCM
威胁检测服务 MTD
态势感知 SA
认证测试中心 CTC
边缘安全 EdgeSec
应用中间件
微服务引擎 CSE
分布式消息服务Kafka版
分布式消息服务RabbitMQ版
分布式消息服务RocketMQ版
API网关 APIG
分布式缓存服务 DCS
多活高可用服务 MAS
事件网格 EG
管理与监管
统一身份认证服务 IAM
消息通知服务 SMN
云监控服务 CES
应用运维管理 AOM
应用性能管理 APM
云日志服务 LTS
云审计服务 CTS
标签管理服务 TMS
配置审计 Config
应用身份管理服务 OneAccess
资源访问管理 RAM
组织 Organizations
资源编排服务 RFS
优化顾问 OA
IAM 身份中心
云运维中心 COC
资源治理中心 RGC
解决方案
高性能计算 HPC
SAP
混合云灾备
开天工业工作台 MIW
Haydn解决方案工厂
数字化诊断治理专家服务
云生态
云商店
合作伙伴中心
华为云开发者学堂
华为云慧通差旅
开发与运维
软件开发生产线 CodeArts
需求管理 CodeArts Req
流水线 CodeArts Pipeline
代码检查 CodeArts Check
编译构建 CodeArts Build
部署 CodeArts Deploy
测试计划 CodeArts TestPlan
制品仓库 CodeArts Artifact
移动应用测试 MobileAPPTest
CodeArts IDE Online
开源镜像站 Mirrors
性能测试 CodeArts PerfTest
应用管理与运维平台 ServiceStage
云应用引擎 CAE
开源治理服务 CodeArts Governance
华为云Astro轻应用
CodeArts IDE
Astro工作流 AstroFlow
代码托管 CodeArts Repo
漏洞管理服务 CodeArts Inspector
联接 CodeArtsLink
软件建模 CodeArts Modeling
Astro企业应用 AstroPro
CodeArts盘古助手
华为云Astro大屏应用
计算
弹性云服务器 ECS
Flexus云服务
裸金属服务器 BMS
云手机服务器 CPH
专属主机 DeH
弹性伸缩 AS
镜像服务 IMS
函数工作流 FunctionGraph
云耀云服务器(旧版)
VR云渲游平台 CVR
Huawei Cloud EulerOS
云化数据中心 CloudDC
网络
虚拟私有云 VPC
弹性公网IP EIP
弹性负载均衡 ELB
NAT网关 NAT
云专线 DC
虚拟专用网络 VPN
云连接 CC
VPC终端节点 VPCEP
企业路由器 ER
企业交换机 ESW
全球加速 GA
企业连接 EC
云原生应用网络 ANC
CDN与智能边缘
内容分发网络 CDN
智能边缘云 IEC
智能边缘平台 IEF
CloudPond云服务
安全与合规
安全技术与应用
Web应用防火墙 WAF
企业主机安全 HSS
云防火墙 CFW
安全云脑 SecMaster
DDoS防护 AAD
数据加密服务 DEW
数据库安全服务 DBSS
云堡垒机 CBH
数据安全中心 DSC
云证书管理服务 CCM
威胁检测服务 MTD
态势感知 SA
认证测试中心 CTC
边缘安全 EdgeSec
大数据
MapReduce服务 MRS
数据湖探索 DLI
表格存储服务 CloudTable
可信智能计算服务 TICS
推荐系统 RES
云搜索服务 CSS
数据可视化 DLV
数据接入服务 DIS
数据仓库服务 GaussDB(DWS)
数据治理中心 DataArts Studio
湖仓构建 LakeFormation
智能数据洞察 DataArts Insight
应用中间件
微服务引擎 CSE
分布式消息服务Kafka版
分布式消息服务RabbitMQ版
分布式消息服务RocketMQ版
API网关 APIG
分布式缓存服务 DCS
多活高可用服务 MAS
事件网格 EG
开天aPaaS
应用平台 AppStage
开天企业工作台 MSSE
开天集成工作台 MSSI
API中心 API Hub
云消息服务 KooMessage
交换数据空间 EDS
云地图服务 KooMap
云手机服务 KooPhone
组织成员账号 OrgID
云空间服务 KooDrive
管理与监管
统一身份认证服务 IAM
消息通知服务 SMN
云监控服务 CES
应用运维管理 AOM
应用性能管理 APM
云日志服务 LTS
云审计服务 CTS
标签管理服务 TMS
配置审计 Config
应用身份管理服务 OneAccess
资源访问管理 RAM
组织 Organizations
资源编排服务 RFS
优化顾问 OA
IAM 身份中心
云运维中心 COC
资源治理中心 RGC
区块链
区块链服务 BCS
数字资产链 DAC
华为云区块链引擎服务 HBS
解决方案
高性能计算 HPC
SAP
混合云灾备
开天工业工作台 MIW
Haydn解决方案工厂
数字化诊断治理专家服务
价格
成本优化最佳实践
专属云商业逻辑
云生态
云商店
合作伙伴中心
华为云开发者学堂
华为云慧通差旅
其他
管理控制台
消息中心
产品价格详情
系统权限
客户关联华为云合作伙伴须知
公共问题
宽限期保留期
奖励推广计划
活动
云服务信任体系能力说明
开发与运维
软件开发生产线 CodeArts
需求管理 CodeArts Req
流水线 CodeArts Pipeline
代码检查 CodeArts Check
编译构建 CodeArts Build
部署 CodeArts Deploy
测试计划 CodeArts TestPlan
制品仓库 CodeArts Artifact
移动应用测试 MobileAPPTest
CodeArts IDE Online
开源镜像站 Mirrors
性能测试 CodeArts PerfTest
应用管理与运维平台 ServiceStage
云应用引擎 CAE
开源治理服务 CodeArts Governance
华为云Astro轻应用
CodeArts IDE
Astro工作流 AstroFlow
代码托管 CodeArts Repo
漏洞管理服务 CodeArts Inspector
联接 CodeArtsLink
软件建模 CodeArts Modeling
Astro企业应用 AstroPro
CodeArts盘古助手
华为云Astro大屏应用
存储
对象存储服务 OBS
云硬盘 EVS
云备份 CBR
高性能弹性文件服务 SFS Turbo
弹性文件服务 SFS
存储容灾服务 SDRS
云硬盘备份 VBS
云服务器备份 CSBS
数据快递服务 DES
云存储网关 CSG
专属分布式存储服务 DSS
数据工坊 DWR
地图数据 MapDS
键值存储服务 KVS
容器
云容器引擎 CCE
云容器实例 CCI
容器镜像服务 SWR
云原生服务中心 OSC
应用服务网格 ASM
华为云UCS
数据库
云数据库 RDS
数据复制服务 DRS
文档数据库服务 DDS
分布式数据库中间件 DDM
云数据库 GaussDB
云数据库 GeminiDB
数据管理服务 DAS
数据库和应用迁移 UGO
云数据库 TaurusDB
人工智能
AI开发平台ModelArts
华为HiLens
图引擎服务 GES
图像识别 Image
文字识别 OCR
自然语言处理 NLP
内容审核 Moderation
图像搜索 ImageSearch
医疗智能体 EIHealth
企业级AI应用开发专业套件 ModelArts Pro
人脸识别服务 FRS
对话机器人服务 CBS
语音交互服务 SIS
人证核身服务 IVS
视频智能分析服务 VIAS
城市智能体
自动驾驶云服务 Octopus
盘古大模型 PanguLargeModels
IoT物联网
设备接入 IoTDA
全球SIM联接 GSL
IoT数据分析 IoTA
路网数字化服务 DRIS
IoT边缘 IoTEdge
设备发放 IoTDP
企业应用
域名注册服务 Domains
云解析服务 DNS
企业门户 EWP
ICP备案
商标注册
华为云WeLink
华为云会议 Meeting
隐私保护通话 PrivateNumber
语音通话 VoiceCall
消息&短信 MSGSMS
云管理网络
SD-WAN 云服务
边缘数据中心管理 EDCM
云桌面 Workspace
应用与数据集成平台 ROMA Connect
ROMA资产中心 ROMA Exchange
API全生命周期管理 ROMA API
政企自服务管理 ESM
视频
实时音视频 SparkRTC
视频直播 Live
视频点播 VOD
媒体处理 MPC
视频接入服务 VIS
数字内容生产线 MetaStudio
迁移
主机迁移服务 SMS
对象存储迁移服务 OMS
云数据迁移 CDM
迁移中心 MGC
专属云
专属计算集群 DCC
开发者工具
SDK开发指南
API签名指南
DevStar
华为云命令行工具服务 KooCLI
Huawei Cloud Toolkit
CodeArts API
云化转型
云架构中心
云采用框架
用户服务
账号中心
费用中心
成本中心
资源中心
企业管理
工单管理
客户运营能力
国际站常见问题
支持计划
专业服务
合作伙伴支持计划
我的凭证
华为云公共事业服务云平台
工业软件
工业数字模型驱动引擎
硬件开发工具链平台云服务
工业数据转换引擎云服务

MRS集群日志概述

更新时间:2025-02-18 GMT+08:00
分享

日志描述

MRS集群的日志保存路径为“/var/log/Bigdata”。日志分类见下表:

表1 日志分类一览表

日志类型

日志描述

安装日志

安装日志记录了Manager、集群和服务安装的程序信息,可用于定位安装出错的问题。

运行日志

运行日志记录了集群各服务运行产生的信息及调试信息、状态变迁、未产生影响的潜在问题和直接的错误信息。

审计日志

审计日志中记录了用户活动信息和用户操作指令信息,可用于安全事件中定位问题原因及划分事故责任。

MRS日志目录清单见下表:

表2 日志目录一览表

文件目录

日志内容

/var/log/Bigdata/audit

组件审计日志。

/var/log/Bigdata/controller

日志采集脚本日志。

controller进程日志。

controller监控日志。

/var/log/Bigdata/dbservice

DBService日志。

/var/log/Bigdata/flume

Flume日志。

/var/log/Bigdata/hbase

HBase日志。

/var/log/Bigdata/hdfs

HDFS日志。

/var/log/Bigdata/hive

Hive日志。

/var/log/Bigdata/hetuengine

HetuEngine日志。

/var/log/Bigdata/httpd

httpd日志。

/var/log/Bigdata/hue

Hue日志。

/var/log/Bigdata/kerberos

Kerberos日志。

/var/log/Bigdata/ldapclient

LDAP客户端日志。

/var/log/Bigdata/ldapserver

LDAP服务端日志。

/var/log/Bigdata/loader

Loader日志。

/var/log/Bigdata/logman

logman脚本日志管理日志。

/var/log/Bigdata/mapreduce

MapReduce日志。

/var/log/Bigdata/nodeagent

NodeAgent日志。

/var/log/Bigdata/okerberos

OMS Kerberos日志。

/var/log/Bigdata/oldapserver

OMS LDAP日志。

/var/log/Bigdata/metric_agent

MetricAgent运行日志。

/var/log/Bigdata/omm

oms:“omm”服务端的复杂事件处理日志、告警服务日志、HA日志、认证与授权管理日志和监控服务运行日志。

oma:“omm”代理端的安装运行日志。

core:“omm”代理端与“HA”进程失去响应的dump日志。

/var/log/Bigdata/spark2x

Spark2x日志。

/var/log/Bigdata/sudo

omm执行sudo命令产生的日志。

/var/log/Bigdata/timestamp

时间同步管理日志。

/var/log/Bigdata/tomcat

Tomcat日志。

/var/log/Bigdata/watchdog

Watchdog日志。

/var/log/Bigdata/yarn

Yarn日志。

/var/log/Bigdata/zookeeper

ZooKeeper日志。

/var/log/Bigdata/oozie

Oozie日志。

/var/log/Bigdata/kafka

Kafka日志。

/var/log/Bigdata/storm

Storm日志。

/var/log/Bigdata/iotdb

IoTDB日志。

/var/log/Bigdata/cdl

CDL日志。

/var/log/Bigdata/upgrade

升级OMS日志。

/var/log/Bigdata/update-service

升级服务日志。

/var/log/Bigdata/patch

补丁日志。

运行日志

运行日志记录的运行信息描述如表3所示。

表3 运行信息一览表

运行日志

日志描述

服务安装前的准备日志

记录服务安装前的准备工作,如检测、配置和反馈操作的信息。

进程启动日志

记录进程启动过程中执行的命令信息。

进程启动异常日志

记录进程启动失败时产生异常的信息,如依赖服务错误、资源不足等

进程运行日志

记录进程运行信息及调试信息,如函数入口和出口打印、模块间接口消息等。

进程运行异常日志

记录导致进程运行时错误的错误信息,如输入对象为空、编解码失败等错误。

进程运行环境信息日志

记录进程运行环境的信息,如资源状态、环境变量等。

脚本日志

记录脚本执行的过程信息。

资源回收日志

记录资源回收的过程信息。

服务卸载时的清理日志

记录卸载服务时执行的步骤操作信息,如清除目录数据、执行时间等

审计日志

审计日志记录的审计信息包含Manager审计信息和组件审计信息。

表4 Manager审计信息一览表

操作类型

操作

用户管理

创建用户

修改用户

删除用户

创建组

修改组

删除组

添加角色

修改角色

删除角色

密码策略修改

修改密码

密码重置

用户登录

用户注销

屏幕解锁

下载认证凭据

用户越权操作

用户账号解锁

用户账号锁定

屏幕锁定

导出用户

导出用户组

导出角色

集群

启动集群

停止集群

重启集群

滚动重启集群

重启所有过期实例

保存配置

同步集群配置

定制集群监控指标

配置监控转储

保存监控阈值

下载客户端配置

北向Syslog接口配置

北向SNMP接口配置

SNMP清除告警

SNMP添加trap目标

SNMP删除trap目标

SNMP检查告警

SNMP同步告警

创建阈值模板

删除阈值模板

应用阈值模板

保存集群监控配置数据

导出配置数据

导入集群配置数据

导出安装模板

修改阈值模板

取消阈值模板应用

屏蔽告警

发送告警

修改OMS数据库密码

重置组件数据库密码

重启OMM和Controller

启动集群的健康检查

导入证书文件

配置SSO信息

删除健康检查历史报告

修改集群属性

同步维护命令

异步维护命令

定制报表监控指标

导出报表监控数据

SNMP执行异步命令

重启WEB服务

定制静态资源池监控指标

导出静态资源池监控数据

定制主页监控指标

中止任务

还原配置

修改域和互信的配置

修改系统参数

集群进入维护模式

集群退出维护模式

OMS进入维护模式

OMS退出维护模式

批量退出维护模式

修改OMS配置

启用阈值告警

同步所有集群配置

服务

启动服务

停止服务

同步服务配置

刷新服务队列

定制服务监控指标

重启服务

滚动重启服务

导出服务监控数据

导入服务配置数据

启动服务的健康检查

服务配置

上传配置文件

下载配置文件

同步实例配置

实例入服

实例退服

启动实例

停止实例

定制实例监控指标

重启实例

滚动重启实例

导出实例监控数据

导入实例配置数据

创建实例组

修改实例组

删除实例组

移动到另一个实例组

服务进入维护模式

服务退出维护模式

修改服务显示名称

修改服务关联关系

下载监控数据

屏蔽告警

取消屏蔽告警

导出服务的报表数据

添加报表的自定义参数

修改报表的自定义参数

删除报表的自定义参数

倒换控制节点

新增挂载表

修改挂载表

主机

设置节点机架

启动所有角色

停止所有角色

隔离主机

取消隔离主机

定制主机监控指标

导出主机监控数据

主机进入维护模式

主机退出维护模式

导出主机基本信息

导出主机分布的报表数据

导出主机趋势的报表数据

导出主机集群的报表数据

导出服务的报表数据

定制主机集群监控指标

定制主机趋势监控指标

告警

导出告警

清除告警

导出事件

批量清除告警

采集日志

采集日志文件

下载日志文件

采集服务堆栈信息

采集实例堆栈信息

准备服务堆栈信息

准备实例堆栈信息

清理服务堆栈信息

清理实例堆栈信息

审计日志

修改审计转储配置

导出审计日志

备份恢复

创建备份任务

执行备份任务

批量执行备份任务

停止备份任务

删除备份任务

修改备份任务

锁定备份任务

解锁备份任务

创建恢复任务

执行恢复任务

停止恢复任务

重试恢复任务

删除恢复任务

多租户

保存静态配置

添加租户

删除租户

关联租户服务

删除租户服务

配置资源

创建资源

删除资源

增加资源池

修改资源池

删除资源池

恢复租户数据

修改租户全局配置

修改容量调度器队列配置

修改超级调度器队列配置

修改容量调度器资源分布

清除容量调度器资源分布

修改超级调度器资源分布

清除超级调度器资源分布

添加资源目录

修改资源目录

删除资源目录

定制租户监控指标

健康检查

启动集群的健康检查

启动服务的健康检查

启动主机的健康检查

启动oms健康检查

启动系统的健康检查

更新健康检查的配置

导出健康检查报告

导出集群健康检查的结果

导出服务健康检查的结果

导出主机健康检查的结果

删除健康检查历史报告

导出健康检查历史报告

下载健康检查报告

表5 组件审计信息一览表

审计日志

操作类型

操作

CDL审计日志

业务操作

创建Link

删除Link

创建Job

启动Job

删除Job

IoTDB审计日志

维护管理

授权

收回权限

认证和登录信息

业务操作

删除时间序列/分区/函数/索引

修改时间序列操作

ClickHouse审计日志

维护管理

授权

收回权限

认证和登录信息

业务操作

创建数据库/表

插入、删除、查询、执行数据迁移任务

DBService审计日志

维护管理

备份恢复操作

HBase审计日志

DDL(数据定义)语句

创建表

删除表

修改表

增加列族

修改列族

删除列族

启用表

禁用表

用户信息修改

修改密码

用户登录

DML(数据操作)语句

put数据(针对hbase:meta表、_ctmeta_表和hbase:acl表)

删除数据(针对hbase:meta表、_ctmeta_表和hbase:acl表)

检查并put数据(针对hbase:meta表、_ctmeta_表和hbase:acl表)

检查并删除数据(针对hbase:meta表、_ctmeta_表和hbase:acl表)

权限控制

给用户授权

取消用户授权

HDFS审计日志

权限管理

文件/文件夹访问权限

文件/文件夹owner信息

文件操作

创建文件夹

创建文件

打开文件

追加文件内容

修改文件名称

删除文件/文件夹

设置文件时间属性

设置文件副本个数

多文件合并

文件系统检查

文件链接

Hive审计日志

元数据操作

元数据定义,如创建数据库、表等

元数据删除,如删除数据库、表等

元数据修改,如增加列、重命名表等

元数据导入/导出

数据维护

向表中加载数据

向表中插入数据

权限管理

创建/删除角色

授予/回收角色

授予/回收权限

Hue审计日志

服务启动

启动Hue

用户操作

用户登录

用户退出

任务操作

创建任务

修改任务

删除任务

提交任务

保存任务

任务状态更新

KrbServer审计日志

维护管理

修改kerberos账号密码

添加kerberos账号

删除kerberos账号

用户认证

LdapServer审计日志

维护管理

添加操作系统用户

添加组

添加用户到组

删除用户

删除组

Loader审计日志

安全管理

用户登录

元数据管理

查询connector

查询framework

查询step

数据源连接管理

查询数据源连接

增加数据源连接

更新数据源连接

删除数据源连接

激活数据源连接

禁用数据源连接

作业管理

查询作业

创建作业

更新作业

删除作业

激活作业

禁用作业

查询作业所有执行记录

查询作业最近执行记录

提交作业

停止作业

Mapreduce审计日志

程序运行

启动Container请求

停止Container请求

Container结束,状态为成功

Container结束,状态为失败

Container结束,状态为中止

提交任务

结束任务

Oozie审计日志

任务管理

提交任务

启动任务

kill任务

暂停任务

恢复任务

重新运行任务

Spark审计日志

元数据操作

元数据定义,如创建数据库、表等

元数据删除,如删除数据库、表等

元数据修改,如增加列、重命名表等

元数据导入/导出

数据维护

向表中加载数据

向表中插入数据

Storm审计日志

Nimbus

提交拓扑

中止拓扑

重分配拓扑

去激活拓扑

激活拓扑

UI

中止拓扑

重分配拓扑

去激活拓扑

激活拓扑

Yarn审计日志

任务提交

提交作业到队列相关的操作

Zookeeper审计日志

权限管理

设置ZNODE访问权限

ZNODE操作

创建ZNODE

删除ZNODE

设置ZNODE数据

HetuEngine审计日志

作业管理

添加外部数据源

删除外部数据源

修改外部数据源

创建计算实例

启动计算实例

停止计算实例

删除计算实例

查询计算实例

修改计算实例配置

MRS的审计日志保存在数据库中,可通过“审计管理”页面查看及导出审计日志。

组件审计日志的文件信息见下表。部分组件审计日志文件保存在“/var/log/Bigdata/audit”,例如HDFS、HBase、Mapreduce、Hive、Hue、Yarn、Storm和ZooKeeper。每天凌晨3点自动将组件审计日志压缩备份到“/var/log/Bigdata/audit/bk”,最多保留最近的90个压缩备份文件,不支持修改备份时间。

其他组件审计日志文件保存在组件日志目录中。

表6 组件审计日志目录

组件名称

审计日志目录

DBService

/var/log/Bigdata/audit/dbservice/dbservice_audit.log

HBase

/var/log/Bigdata/audit/hbase/hm/hbase-audit-hmaster.log

/var/log/Bigdata/audit/hbase/hm/hbase-ranger-audit-hmaster.log

/var/log/Bigdata/audit/hbase/rs/hbase-audit-regionserver.log

/var/log/Bigdata/audit/hbase/rs/hbase-ranger-audit-regionserver.log

/var/log/Bigdata/audit/hbase/rt/hbase-audit-restserver.log

/var/log/Bigdata/audit/hbase/ts/hbase-audit-thriftserver.log

HDFS

/var/log/Bigdata/audit/hdfs/nn/hdfs-audit-namenode.log

/var/log/Bigdata/audit/hdfs/nn/ranger-plugin-audit.log

/var/log/Bigdata/audit/hdfs/dn/hdfs-audit-datanode.log

/var/log/Bigdata/audit/hdfs/jn/hdfs-audit-journalnode.log

/var/log/Bigdata/audit/hdfs/zkfc/hdfs-audit-zkfc.log

/var/log/Bigdata/audit/hdfs/httpfs/hdfs-audit-httpfs.log

/var/log/Bigdata/audit/hdfs/router/hdfs-audit-router.log

HetuEngine

/var/log/Bigdata/audit/hetuengine/hsbroker/hsbroker-audit.log.0

/var/log/Bigdata/audit/hetuengine/hsconsole/hsconsole-audit.log.0

/var/log/Bigdata/audit/hetuengine/hsfabric/hsfabric-audit.log.0

hdfs://hacluster/hetuserverhistory/租户/coordinator/application_ID/container_ID/yyyyMMdd/hetuserver-engine-audit.log

hdfs://hacluster/hetuserverhistory/租户/coordinator或worker/application_ID/container_ID/yyyyMMdd/server.log

Hive

/var/log/Bigdata/audit/hive/hiveserver/hive-audit.log

/var/log/Bigdata/audit/hive/hiveserver/hive-rangeraudit.log

/var/log/Bigdata/audit/hive/metastore/metastore-audit.log

/var/log/Bigdata/audit/hive/webhcat/webhcat-audit.log

Hue

/var/log/Bigdata/audit/hue/hue-audits.log

Kafka

/var/log/Bigdata/audit/kafka/audit.log

Loader

/var/log/Bigdata/loader/audit/default.audit

CDL

/var/log/Bigdata/audit/cdl/service/cdl-audit.log

Mapreduce

/var/log/Bigdata/audit/mapreduce/jobhistory/mapred-audit-jobhistory.log

Oozie

/var/log/Bigdata/audit/oozie/oozie-audit.log

Spark2x

/var/log/Bigdata/audit/spark2x/jdbcserver/jdbcserver-audit.log

/var/log/Bigdata/audit/spark2x/jdbcserver/ranger-audit.log

/var/log/Bigdata/audit/spark2x/jobhistory/jobhistory-audit.log

Storm

/var/log/Bigdata/audit/storm/logviewer/audit.log

/var/log/Bigdata/audit/storm/nimbus/audit.log

/var/log/Bigdata/audit/storm/supervisor/audit.log

/var/log/Bigdata/audit/storm/ui/audit.log

Yarn

/var/log/Bigdata/audit/yarn/rm/yarn-audit-resourcemanager.log

/var/log/Bigdata/audit/yarn/rm/ranger-plugin-audit.log

/var/log/Bigdata/audit/yarn/nm/yarn-audit-nodemanager.log

ZooKeeper

/var/log/Bigdata/audit/zookeeper/quorumpeer/zk-audit-quorumpeer.log

IoTDB

/var/log/Bigdata/audit/iotdb/iotdbserver/log_audit.log

Manager日志清单说明

日志存储路径:Manager相关日志的默认存储路径为“/var/log/Bigdata/Manager组件”。

  • ControllerService:/var/log/Bigdata/controller/(OMS安装、运行日志)
  • Httpd:/var/log/Bigdata/httpd(httpd安装、运行日志)
  • logman:/var/log/Bigdata/logman(日志打包工具日志)
  • NodeAgent:/var/log/Bigdata/nodeagent(NodeAgent安装、运行日志)
  • okerberos:/var/log/Bigdata/okerberos(okerberos安装、运行日志)
  • oldapserver:/var/log/Bigdata/oldapserver(oldapserver安装、运行日志)
  • MetricAgent:/var/log/Bigdata/metric_agent(MetricAgent运行日志)
  • omm:/var/log/Bigdata/omm(omm安装、运行日志)
  • timestamp:/var/log/Bigdata/timestamp(NodeAgent启动时间日志)
  • tomcat:/var/log/Bigdata/tomcat(Web进程日志)
  • watchdog:/var/log/Bigdata/watchdog(watchdog日志)
  • upgrade:/var/log/Bigdata/upgrade(升级OMS日志)
  • UpdateService:/var/log/Bigdata/update-service(升级服务日志)
  • Sudo:/var/log/Bigdata/sudo(sudo脚本执行日志)
  • OS:/var/log/message文件(OS系统日志)
  • OS Performance:/var/log/osperf(OS性能统计日志)
  • OS Statistics:/var/log/osinfo/statistics(OS参数配置信息日志)

日志归档规则

Manager的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过10MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件。

表7 Manager日志列表

日志类型

日志文件名

描述

Controller运行日志

controller.log

记录组件安装、升级、配置、监控、告警和日常运维操作日志。

controller_client.log

Rest接口运行日志。

acs.log

Acs运行日志。

acs_spnego.log

acs中spnego用户日志

aos.log

Aos运行日志。

plugin.log

Aos插件日志

backupplugin.log

备份恢复进程运行日志

controller_config.log

配置运行日志

controller_nodesetup.log

Controller加载任务日志

controller_root.log

Controller进程系统日志

controller_trace.log

Controller与NodeAgent之间RPC通信日志

controller_monitor.log

监控日志

controller_fsm.log

状态机日志

controller_alarm.log

Controller发送告警日志

controller_backup.log

Controller备份恢复日志

install.log,restore_package.log,installPack.log,distributeAdapterFiles.log,install_os_optimization.log

oms安装日志

oms_ctl.log

oms启停日志

preInstall_client.log

客户端安装前预处理日志

installntp.log

ntp安装日志

modify_manager_param.log

修改Manager参数日志

backup.log

OMS备份脚本运行日志

supressionAlarm.log

告警脚本运行日志

om.log

生成om证书日志

backupplugin_ctl.log

备份恢复插件进程启动日志

getLogs.log

采集日志脚本运行日志

backupAuditLogs.log

审计日志备份脚本运行日志

certStatus.log

证书定期检查日志

distribute.log

证书分发日志

ficertgenetrate.log

证书替换日志,包括生成二级证书、cas证书、httpd证书的日志。

genPwFile.log

生成证书密码文件日志

modifyproxyconf.log

修改HTTPD代理配置的日志

importTar.log

证书导入信任库日志

Httpd

install.log

Httpd安装日志

access_log, error_log

Httpd运行日志

logman

logman.log

日志打包工具日志。

NodeAgent

install.log,install_os_optimization.log

NodeAgent安装日志

installntp.log

ntp安装日志

start_ntp.log

ntp启动日志

ntpChecker.log

ntp检查日志

ntpMonitor.log

ntp监控日志

heartbeat_trace.log

NodeAgent与Controller心跳日志

alarm.log

告警日志

monitor.log

监控日志

nodeagent_ctl.log,start-agent.log

NodeAgent启动日志

agent.log

NodeAgent运行日志

cert.log

证书日志

agentplugin.log

监控agent侧插件运行日志

omaplugin.log

OMA插件运行日志

diskhealth.log

磁盘健康检查日志

supressionAlarm.log

告警脚本运行日志

updateHostFile.log

更新主机列表日志

collectLog.log

节点日志采集脚本运行日志

host_metric_collect.log

主机指标采集运行日志

checkfileconfig.log

文件权限配置检查运行日志

entropycheck.log

熵值检查运行日志

timer.log

节点定时调度日志

pluginmonitor.log

组件监控插件日志

agent_alarm_py.log

NodeAgent检查文件权限发送告警日志

okerberos

addRealm.log,modifyKerberosRealm.log

切域日志

checkservice_detail.log

Okerberos健康检查日志

genKeytab.log

生成keytab日志

KerberosAdmin_genConfigDetail.log

启动kadmin进程时,生成kadmin.conf的运行日志

KerberosServer_genConfigDetail.log

启动krb5kdc进程时,生成krb5kdc.conf的运行日志

oms-kadmind.log

kadmin进程的运行日志

oms_kerberos_install.log,postinstall_detail.log

okerberos安装日志

oms-krb5kdc.log

krbkdc运行日志

start_detail.log

okerberos启动日志

realmDataConfigProcess.log

切域失败,回滚日志

stop_detail.log

okerberos停止日志

oldapserver

ldapserver_backup.log

Oldapserver备份日志

ldapserver_chk_service.log

Oldapserver健康检查日志

ldapserver_install.log

Oldapserver安装日志

ldapserver_start.log

Oldapserver启动日志

ldapserver_status.log

Oldapserver进程状态检查日志。

ldapserver_stop.log

Oldapserver停止日志

ldapserver_wrap.log

Oldapserver服务管理日志。

ldapserver_uninstall.log

Oldapserver卸载日志

restart_service.log

Oldapserver重启日志

ldapserver_unlockUser.log

记录解锁Ldap用户和管理账户的日志

metric_agent

gc.log

MetricAgent JAVA虚拟机gc日志

metric_agent.log

MetricAgent运行日志

metric_agent_qps.log

MetricAgent内部队列长度及qps信息记录日志

metric_agent_root.log

MetricAgent所有运行日志

start.log

MetricAgent启停信息日志

omm

omsconfig.log

OMS配置日志

check_oms_heartbeat.log

OMS心跳运行日志

monitor.log

OMS监控日志

ha_monitor.log

HA_Monitor操作日志

ha.log

HA操作日志

fms.log

告警日志

fms_ha.log

告警的HA监控日志

fms_script.log

告警控制日志

config.log

告警配置日志

iam.log

IAM日志

iam_script.log

IAM控制日志

iam_ha.log

IAM的HA监控日志

config.log

IAM配置日志

operatelog.log

IAM操作日志

heartbeatcheck_ha.log

OMS心跳的HA监控日志

install_oms.log

OMS安装日志

pms_ha.log

监控的HA监控日志

pms_script.log

监控控制日志

config.log

监控配置日志

plugin.log

监控插件运行日志

pms.log

监控日志

ha.log

HA运行日志

cep_ha.log

CEP的HA监控日志

cep_script.log

CEP控制日志

cep.log

CEP日志

config.log

CEP配置日志

omm_gaussdba.log

gaussdb的HA监控日志

gaussdb-<SERIAL>.log

gaussdb运行日志

gs_ctl-<DATE>.log

gaussdb控制日志的归档日志

gs_ctl-current.log

gaussdb控制日志

gs_guc-current.log

gaussdb操作日志

encrypt.log

omm加密日志

omm_agent_ctl.log

OMA控制日志

oma_monitor.log

OMA监控日志

install_oma.log

OMA安装日志

config_oma.log

OMA配置日志

omm_agent.log

OMA运行日志

acs.log

acs资源日志。

aos.log

aos资源日志

controller.log

controller资源日志

floatip.log

floatip资源日志

ha_ntp.log

ntp资源日志

httpd.log

httpd资源日志

okerberos.log

okerberos资源日志

oldap.log

oldap资源日志

tomcat.log

tomcat资源日志

send_alarm.log

管理节点HA告警发送脚本运行日志

feed_watchdog.log

feed_watchdog资源日志

timestamp

restart_stamp

NodeAgent启动时间

tomcat

cas.log,localhost_access_cas_log.log

cas运行日志

catalina.log,catalina.out,host-manager.log,localhost.log,manager.log

tomcat运行日志

localhost_access_web_log.log

记录访问FusionInsight Manager系统REST接口的日志

web.log

web进程运行日志

northbound_ftp_sftp.log,snmp.log

北向日志

perfStats.log

性能数据统计日志

watchdog

watchdog.log,feed_watchdog.log

watchdog.log运行日志

update-service

omm_upd_server.log

updserver的运行日志

omm_upd_agent.log

updagent的运行日志

update-manager.log

updmanager的运行日志

install.log

升级服务安装日志

uninstall.log

升级服务卸载日志

catalina.<时间>.log,catalina.out,host-manager.<时间>.log,localhost.<时间>.log,manager.<时间>.log,manager_access_log.<时间>.txt,web_service_access_log.<时间>.txt,catalina.log,gc-update-service.log.0.current,update-manager.controller,update-web-service.controller,update-web-service.log,commit_rm_distributed.log ,commit_rm_upload_package.log,common_omagent_operator.log,forbid_monitor.log,initialize_package_atoms.log,initialize_unzip_pack.log,omm-upd.log,register_patch_pack.log,resume_monitor.logrollback_clear_patch.log,unregister_patch_pack.log,update-rcommupd.log,update-rcupdatemanager.log,update-service.log

升级服务运行日志

upgrade

upgrade.log_<时间>

升级OMS日志

rollback.log_<时间>

回滚OMS日志

sudo

sudo.log

sudo脚本执行日志

日志级别

Manager中提供了如表8所示的日志级别。日志级别优先级从高到低分别是FATAL、ERROR、WARN、INFO、DEBUG。程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。
表8 日志级别

级别

描述

FATAL

FATAL表示当前事件处理出现严重错误信息,可能导致系统崩溃。

ERROR

ERROR表示当前事件处理出现错误信息,系统运行出错。

WARN

WARN表示当前事件处理存在异常信息,但认为是正常范围,不会导致系统出错。

INFO

INFO记录系统及各事件正常运行状态信息。

DEBUG

DEBUG记录系统及系统的调试信息。

日志格式

Manager的日志格式如下所示:

表9 日志格式

日志类型

组件

格式

示例

Controller,Httpd,logman,NodeAgent,okerberos,oldapserver,omm,tomcat,upgrade

Controller,Httpd,logman,NodeAgent,okerberos,oldapserver,omm,tomcat,upgrade

<yyyy-MM-dd HH:mm:ss,SSS>|<Log Level>|<产生该日志的线程名字>|<log中的message>|<日志事件的发生位置>

2020-06-30 00:37:09,067 INFO [pool-1-thread-1] Completed Discovering Node. com.xxx.hadoop.om.controller.tasks.nodesetup.DiscoverNodeTask.execute(DiscoverNodeTask.java:299)

提示

您即将访问非华为云网站,请注意账号财产安全

文档反馈

文档反馈

意见反馈

0/500

标记内容

同时提交标记内容