ALM-12089 节点间网络互通异常

告警解释

告警模块按10s周期检测集群间节点的网络健康状态。当检测到某两台节点之间网络不可达或者网络状态不稳定，产生该告警。

当网络恢复正常，告警恢复。

告警属性

告警参数

对系统的影响

• 数据传输异常：如果网络互通异常，数据的传输会变得缓慢或者中断，导致数据丢失或者传输不完整。
• 任务调度异常：如果网络互通异常，任务调度会受到影响，例如会导致Yarn任务无法正常执行或者执行超时失败。
• 数据处理异常：如果网络互通异常，数据处理会受到影响，例如会导致HDFS数据同步失败或者结果不准确。
• 系统性能下降：大数据集群之间的网络互通异常会导致系统性能下降，影响整个数据处理的效率和质量。

可能原因

• 节点宕机。
• 网络故障。

处理步骤

确认网络健康状态。

1. 打开FusionInsight Manager页面，在告警列表中，单击此告警所在行的，查看附加信息中的描述信息。明确具体发生告警源IP地址及目标IP，并记录两个IP地址。
2. 登录告警上报节点，在告警上报节点上使用ping命令，向目标节点手动发起ping请求，检查两个节点之间的网络状态是否正常。
   • 是，执行6
   • 否，执行3。

确认节点状态。

3. 在FusionInsight Manager界面，单击“主机”查看主机列表中是否包含故障节点，确认故障节点是否已从集群中移除。
   • 是，执行5。
   • 否，执行4。

4. 查看故障节点运行状态，判断是否处于关机状态。
   • 是，启动故障节点，执行2。
   • 否，联系相关工作人员定位问题，若需要从集群中移除故障节点，执行5，否则执行6。

5. 将故障节点从集群所有节点的$NODE_AGENT_HOME/etc/agent/hosts.ini文件中移除，并清空/var/log/Bigdata/unreachable/unreachable_ip_info.log文件内容，同时手动清除告警。
6. 等待30s查看告警是否自动清除。
   • 是，处理完毕。
   • 否，执行7。

收集故障信息

7. 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。
8. 在“服务”中勾选“OmmAgent”，单击“确定”。
9. 单击右上角的编辑按钮设置日志收集的时间范围，一般为告警产生时间的前后10秒钟，单击“下载”。
10. 请联系运维人员，并发送已收集的故障日志信息。

告警清除

此告警修复后，系统会自动清除此告警，无需手工清除。

参考信息

不涉及。