ALM-12045 网络读包丢包率超过阈值

告警解释

系统每30秒周期性检测网络读包丢包率，并把实际丢包率和阈值（系统默认阈值0.5%）进行比较，当检测到网络读包丢包率连续多次（默认值为5）超过阈值时产生该告警。

用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 网络读信息 > 读包丢包率”修改阈值。

平滑次数为1，网络读包丢包率小于或等于阈值时，告警恢复；平滑次数大于1，网络读包丢包率小于或等于阈值的90%时，告警恢复。

该告警检测默认关闭。若需要开启，请根据“检查系统环境”步骤，确认该系统是否可以开启该告警发送。

告警属性

告警参数

对系统的影响

• 业务延迟：主机网络读包丢包率超过阈值时，导致请求响应减慢、业务延迟。
• 业务失败：主机网络读包丢包率超过阈值时，请求无法正常响应、超时，可能会导致作业运行失败。

风险提示：在SUSE内核版本3.0以上或Red Hat 7.2版本，由于系统内核修改了网络读包丢包数的计数机制，在该系统下，即使网络正常运行，也可能会导致该告警出现，对业务无影响，建议优先按照“检查系统环境”进行排查。

可能原因

• 网卡配置了主备bond模式。
• 告警阈值配置不合理。
• 网络环境质量差。

处理步骤

1. 打开FusionInsight Manager页面，选择“运维 > 告警 > 告警”，单击此告警所在行的，查看该告警的主机名称和网卡名称。

检查网卡是否配置了主备bond模式。

2. 以omm用户登录告警所在节点，执行ls -l /proc/net/bonding命令，查看该节点是否存在“/proc/net/bonding”目录。
   • 是，如下所示，则该节点配置了bond模式，执行3。

     # ls -l /proc/net/bonding/
     total 0
     -r--r--r-- 1 root root 0 Oct 11 17:35 bond0

   • 否，如下所示，则该节点未配置bond模式，执行5。

     # ls -l /proc/net/bonding/
     ls: cannot access /proc/net/bonding/: No such file or directory

3. 执行cat /proc/net/bonding/bond0命令，查看配置文件中Bonding Mode参数的值是否为fault-tolerance。
   

   bond0为bond配置文件名称，请以2查询出的文件名称为准。

   # cat /proc/net/bonding/bond0 
   Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)
   
   Bonding Mode: fault-tolerance (active-backup)
   Primary Slave: eth1 (primary_reselect always)
   Currently Active Slave: eth1
   MII Status: up
   MII Polling Interval (ms): 100
   Up Delay (ms): 0
   Down Delay (ms): 0
   
   Slave Interface: eth0
   MII Status: up
   Speed: 1000 Mbps
   Duplex: full
   Link Failure Count: 1
   Slave queue ID: 0
   
   Slave Interface: eth1
   MII Status: up
   Speed: 1000 Mbps
   Duplex: full
   Link Failure Count: 1
   Slave queue ID: 0

   • 是，该环境的网卡为主备bond模式，执行4。
   • 否，执行5。

4. 检查该告警中NetworkCardName参数对应的网卡是否为备网卡。
   • 是，备网卡的告警无法自动恢复，请在告警管理页面手动清除该告警，处理完毕。
   • 否，执行5。
     

     备网卡判断方式：查看配置文件/proc/net/bonding/bond0，NetworkCardName参数对应的网卡名称等于其中一个Slave Interface，但是不等于Currently Active Slave（当前主网卡），则该网卡为备网卡。

检查阈值设置是否合理。

5. 登录FusionInsight Manager，选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 网络读信息 > 读包丢包率”，查看该告警阈值是否合理（默认0.5%为合理值，用户可以根据自己的实际需求调整）。
   • 是，执行8。
   • 否，执行6。

6. 根据实际服务的使用情况在“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 网络读信息 > 读包丢包率”，单击“操作”列的“修改”，更改告警阈值。如图1所示。
   图1 设置告警阈值
   

7. 等待5分钟，检查该告警是否恢复。
   • 是，处理完毕。
   • 否，执行8。

检查网络是否异常。

8. 联系网络管理员，检查网络是否存在异常。
   • 是，恢复网络故障，执行9。
   • 否，执行10。

9. 等待5分钟，检查该告警是否恢复。
   • 是，处理完毕。
   • 否，执行10。

收集故障信息。

10. 在主集群的FusionInsight Manager界面，选择“运维 > 日志 > 下载”。
11. 在“服务”中勾选“OMS”，单击“确定”。
12. 设置“主机”为告警所在节点和主OMS节点。
13. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟，单击“下载”。
14. 请联系运维人员，并发送已收集的故障日志信息。

告警清除

此告警修复后，系统会自动清除此告警，无需手工清除。

参考信息

无。