更新时间:2024-11-29 GMT+08:00

ALM-45585 IoTDB服务不可用

告警解释

系统每300秒周期性检测IoTDB服务状态,当检测到IoTDB服务不可用时产生该告警。IoTDB服务恢复时,告警清除。

告警属性

告警ID

告警级别

告警类型

业务类型

是否可自动清除

45585

紧急

处理错误告警

IoTDB

告警参数

类别

参数名称

参数含义

定位信息

来源

产生告警的集群名称。

服务名

产生告警的服务名称。

角色名

产生告警的角色名称。

主机名

产生告警的主机名。

附加信息

Details

对告警信息的补充。

对系统的影响

用户无法正常使用IoTDB服务。

可能原因

  • KrbServer服务异常。
  • 50%以上IoTDBServer实例发生故障。
  • 连接IoTDBServer JMX失败,导致获取节点状态失败。
  • 磁盘老化或者磁盘损坏。

处理步骤

检查IoTDB依赖的KrbServer服务异常

  1. 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,在“告警ID”为“45585”的“定位信息”中查看产生该告警的主机名并确认IP地址。
  2. 在告警列表中,查看是否存在告警“ALM-25500 KrbServer服务不可用”。

    • 是,执行3
    • 否,执行5

  3. 参考“ALM-25500 KrbServer服务不可用”章节处理对应的告警。
  4. ALM-25500告警全部恢复后,等待几分钟,检查本告警是否恢复。

    • 是,处理完毕。
    • 否,执行5

检查IoTDBServer实例是否故障

  1. 在FusionInsight Manager首页,选择“集群 > 服务 > IoTDB > 实例”。
  2. 查看运行状态为“故障”的数量是否超过总数的50%并尝试重启故障IoTDBServer实例,检查运行状态是否恢复。

    • 是,处理完毕。
    • 否,执行7

检查IoTDBServer实例是否正常启动

  1. 登录1中查看到的主机,切换至omm用户,执行jps命令后查看结果中是否有IoTDBServer进程存在。

    • 是,处理完毕。
    • 否,执行8

  1. 在FusionInsight Manager首页,选择“集群 > 服务 > IoTDB > 实例”,勾选上报告警所在节点的IoTDBServer实例,选择“更多 > 重启实例”。
  2. 实例重启成功后,等待几分钟,查看该告警是否清除。

    • 是,处理完毕。
    • 否,执行10

检查磁盘

  1. 检查上报告警的主机的磁盘是否存在,或将该主机的磁盘更换到其他机器上运行后是否可正常使用。

    • 是,处理完毕。
    • 否,执行11

收集故障信息。

  1. 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。
  2. 在“服务”中勾选待操作集群的“IoTDB”,单击“确定”。
  3. 单击右上角的时间编辑按钮,设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟,单击“下载”。
  4. 请联系运维人员,并发送已收集的故障日志信息。

告警清除

此告警修复后,系统会自动清除此告警,无需手工清除。

参考信息

不涉及。