更新时间:2024-10-24 GMT+08:00
ALM-12085 服务审计日志转储失败
告警解释
系统每天凌晨三点启动服务审计日志转储,将服务审计日志备份到OMS节点,如果转储失败,则发送告警。当下一次转储成功,告警恢复。
告警属性
告警ID |
告警级别 |
是否自动清除 |
---|---|---|
12085 |
次要 |
是 |
告警参数
参数名称 |
参数含义 |
---|---|
来源 |
产生告警的集群或系统名称。 |
服务名 |
产生告警的服务名称。 |
角色名 |
产生告警的角色名称。 |
主机名 |
产生告警的主机名。 |
对系统的影响
组件审计日志转储失败时,如果组件本地老化这部分审计日志,审计日志将无法找回,影响分析排查组件的业务行为。
可能原因
- 服务审计日志过大。
- OMS备份路径存储空间不足。
- 服务所在某一个主机的存储空间不足。
处理步骤
检查是否服务审计日志过大。
- 打开FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的主机地址,附加信息内容。
- 以root用户登录告警所在主机。
- 执行命令vi ${BIGDATA_LOG_HOME}/controller/scriptlog/getLogs.log,检索关键字“LOG SIZE is more than 5000MB”。是否能够检索到此关键字。
- 查看是否有异常导致服务审计日志过大。
OMS备份路径存储空间不足。
- 执行命令vi ${BIGDATA_LOG_HOME}/controller/scriptlog/getLogs.log,检索关键字 “Collect log failed, too many logs on”。是否能够检索到此关键字。
- 以root用户登录5中获取到的主机IP地址。
- 执行命令vi {BIGDATA_LOG_HOME}/nodeagent/scriptlog/collectLog.log,是否能够检索到此关键字“log size exceeds”。
- 查看该告警附加信息是否存在“no enough space”关键字。
- 参考以下操作,进行磁盘扩容(仅针对MRS 3.1.2及之前版本)或调小最大审计日志备份数量配置项。
- 对OMS节点进行磁盘扩容。
- 执行以下命令,然后调小最大审计日志备份数量配置项“MAX_NUM_BK_AUDITLOG”的值。
vi ${CONTROLLER_HOME}/etc/om/componentsauditlog.properties
- 等待下一个执行周期(凌晨三点),查看告警是否恢复。
- 是,操作结束。
- 否,执行11。
检查服务所在某一个主机的空间是否不足
- 执行命令vi ${BIGDATA_LOG_HOME}/controller/scriptlog/getLogs.log,检索关键字 “Collect log failed, no enough space on hostIp”。是否能够检索到此关键字。
- 以root用户登录获取到的主机IP,执行命令df "$BIGDATA_HOME/tmp" -lP | tail -1 | awk '{print ($4/1024)}',获取该主机日志目录剩余空间,查看该值是否小于1000M。
- 对该节点进行磁盘扩容。
- 等待下一个执行周期,凌晨3点,查看告警是否恢复。
- 是,操作结束。
- 否,执行15。
收集故障信息。
告警清除
此告警修复后,系统会自动清除此告警,无需手工清除。
参考信息
无。
父主题: MRS集群告警处理参考