ALM-12045 网络读包丢包率超过阈值
告警解释
系统每30秒周期性检测网络读包丢包率,并把实际丢包率和阈值(系统默认阈值0.5%)进行比较,当检测到网络读包丢包率连续多次(默认值为5)超过阈值时产生该告警。
用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 网络读信息 > 读包丢包率”修改阈值。
平滑次数为1,网络读包丢包率小于或等于阈值时,告警恢复;平滑次数大于1,网络读包丢包率小于或等于阈值的90%时,告警恢复。
该告警检测默认关闭。若需要开启,请根据“检查系统环境”步骤,确认该系统是否可以开启该告警发送。
告警属性
告警ID |
告警级别 |
是否自动清除 |
---|---|---|
12045 |
重要 |
是 |
告警参数
参数名称 |
参数含义 |
---|---|
来源 |
产生告警的集群或系统名称。 |
服务名 |
产生告警的服务名称。 |
角色名 |
产生告警的角色名称。 |
主机名 |
产生告警的主机名。 |
网口名 |
产生告警的网口名。 |
Trigger Condition |
系统当前指标取值满足自定义的告警设置条件。 |
对系统的影响
- 业务延迟:主机网络读包丢包率超过阈值时,导致请求响应减慢、业务延迟。
- 业务失败:主机网络读包丢包率超过阈值时,请求无法正常响应、超时,可能会导致作业运行失败。
风险提示:在SUSE内核版本3.0以上或Red Hat 7.2版本,由于系统内核修改了网络读包丢包数的计数机制,在该系统下,即使网络正常运行,也可能会导致该告警出现,对业务无影响,建议优先按照“检查系统环境”进行排查。
可能原因
- 网卡配置了主备bond模式。
- 告警阈值配置不合理。
- 网络环境质量差。
处理步骤
- 打开FusionInsight Manager页面,选择“运维 > 告警 > 告警”,单击此告警所在行的,查看该告警的主机名称和网卡名称。
检查网卡是否配置了主备bond模式。
- 以omm用户登录告警所在节点,执行ls -l /proc/net/bonding命令,查看该节点是否存在“/proc/net/bonding”目录。
- 执行cat /proc/net/bonding/bond0命令,查看配置文件中Bonding Mode参数的值是否为fault-tolerance。
bond0为bond配置文件名称,请以2查询出的文件名称为准。
# cat /proc/net/bonding/bond0 Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011) Bonding Mode: fault-tolerance (active-backup) Primary Slave: eth1 (primary_reselect always) Currently Active Slave: eth1 MII Status: up MII Polling Interval (ms): 100 Up Delay (ms): 0 Down Delay (ms): 0 Slave Interface: eth0 MII Status: up Speed: 1000 Mbps Duplex: full Link Failure Count: 1 Slave queue ID: 0 Slave Interface: eth1 MII Status: up Speed: 1000 Mbps Duplex: full Link Failure Count: 1 Slave queue ID: 0
- 检查该告警中NetworkCardName参数对应的网卡是否为备网卡。
- 是,备网卡的告警无法自动恢复,请在告警管理页面手动清除该告警,处理完毕。
- 否,执行5。
备网卡判断方式:查看配置文件/proc/net/bonding/bond0,NetworkCardName参数对应的网卡名称等于其中一个Slave Interface,但是不等于Currently Active Slave(当前主网卡),则该网卡为备网卡。
检查阈值设置是否合理。
- 登录FusionInsight Manager,选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 网络读信息 > 读包丢包率”,查看该告警阈值是否合理(默认0.5%为合理值,用户可以根据自己的实际需求调整)。
- 根据实际服务的使用情况在“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 网络读信息 > 读包丢包率”,单击“操作”列的“修改”,更改告警阈值。如图1所示。
- 等待5分钟,检查该告警是否恢复。
- 是,处理完毕。
- 否,执行8。
检查网络是否异常。
收集故障信息。
告警清除
此告警修复后,系统会自动清除此告警,无需手工清除。
参考信息
无。