更新时间:2022-09-27 GMT+08:00

ALM-12089 节点间网络互通异常

告警解释

告警模块按10s周期检测集群间节点的网络健康状态。当检测到某两台节点之间网络不可达或者网络状态不稳定,产生该告警。

当网络恢复正常,告警恢复。

告警属性

告警ID

告警级别

是否自动清除

12089

重要

告警参数

参数名称

参数含义

来源

产生告警的集群或系统名称。

服务名

产生告警的服务名称。

角色名

产生告警的角色名称。

主机名

产生告警的主机名。

对系统的影响

集群节点间网络健康状态不好时,会影响某些组件的功能使用,如HDFS,ZooKeeper等。

可能原因

  • 节点宕机。
  • 网络故障。

处理步骤

确认网络健康状态。

  1. 打开FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看附加信息中的描述信息。明确具体发生告警源IP地址及目标IP,并记录两个IP地址。
  2. 登录告警上报节点,在告警上报节点上使用ping命令,向目标节点手动发起ping请求,检查两个节点之间的网络状态是否正常。

    • 是,执行6
    • 否,执行3

确认节点状态

  1. 在FusionInsight Manager界面,单击“主机”查看主机列表中是否包含故障节点,确认故障节点是否已从集群中移除。

    • 是,执行5
    • 否,执行4

  2. 查看故障节点运行状态,判断是否处于关机状态。

    • 是,启动故障节点,执行2
    • 否,联系相关工作人员定位问题,若需要从集群中移除故障节点,执行5,否则执行6

  3. 将故障节点从集群所有节点的$NODE_AGENT_HOME/etc/agent/hosts.ini文件中移除,并清空/var/log/Bigdata/unreachable/unreachable_ip_info.log文件内容,同时手动清除告警。
  4. 等待30s查看告警是否自动清除。

    • 是,处理完毕。
    • 否,执行7

收集故障信息

  1. 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。
  2. 在“服务”中勾选“OmmAgent”,单击“确定”。
  3. 单击右上角的设置日志收集的时间范围,一般为告警产生时间的前后10秒钟,单击“下载”。
  4. 请联系运维人员,并发送已收集的故障日志信息。

告警清除

此告警修复后,系统会自动清除此告警,无需手工清除。

参考信息

无。