更新时间:2024-10-24 GMT+08:00

ALM-12045 网络读包丢包率超过阈值

告警解释

系统每30秒周期性检测网络读包丢包率,并把实际丢包率和阈值(系统默认阈值0.5%)进行比较,当检测到网络读包丢包率连续多次(默认值为5)超过阈值时产生该告警。

用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 网络读信息 > 读包丢包率”修改阈值。

平滑次数为1,网络读包丢包率小于或等于阈值时,告警恢复;平滑次数大于1,网络读包丢包率小于或等于阈值的90%时,告警恢复。

该告警检测默认关闭。若需要开启,请根据“检查系统环境”步骤,确认该系统是否可以开启该告警发送。

告警属性

告警ID

告警级别

是否自动清除

12045

重要

告警参数

参数名称

参数含义

来源

产生告警的集群或系统名称。

服务名

产生告警的服务名称。

角色名

产生告警的角色名称。

主机名

产生告警的主机名。

网口名

产生告警的网口名。

Trigger Condition

系统当前指标取值满足自定义的告警设置条件。

对系统的影响

  • 业务延迟:主机网络读包丢包率超过阈值时,导致请求响应减慢、业务延迟。
  • 业务失败:主机网络读包丢包率超过阈值时,请求无法正常响应、超时,可能会导致作业运行失败。

风险提示:在SUSE内核版本3.0以上或Red Hat 7.2版本,由于系统内核修改了网络读包丢包数的计数机制,在该系统下,即使网络正常运行,也可能会导致该告警出现,对业务无影响,建议优先按照“检查系统环境”进行排查。

可能原因

  • 网卡配置了主备bond模式。
  • 告警阈值配置不合理。
  • 网络环境质量差。

处理步骤

  1. 打开FusionInsight Manager页面,选择“运维 > 告警 > 告警”,单击此告警所在行的,查看该告警的主机名称和网卡名称。

检查网卡是否配置了主备bond模式

  1. omm用户登录告警所在节点,执行ls -l /proc/net/bonding命令,查看该节点是否存在“/proc/net/bonding”目录。

    • 是,如下所示,则该节点配置了bond模式,执行3
      # ls -l /proc/net/bonding/
      total 0
      -r--r--r-- 1 root root 0 Oct 11 17:35 bond0
    • 否,如下所示,则该节点未配置bond模式,执行5
      # ls -l /proc/net/bonding/
      ls: cannot access /proc/net/bonding/: No such file or directory

  2. 执行cat /proc/net/bonding/bond0命令,查看配置文件中Bonding Mode参数的值是否为fault-tolerance。

    bond0为bond配置文件名称,请以2查询出的文件名称为准。

    # cat /proc/net/bonding/bond0 
    Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)
    
    Bonding Mode: fault-tolerance (active-backup)
    Primary Slave: eth1 (primary_reselect always)
    Currently Active Slave: eth1
    MII Status: up
    MII Polling Interval (ms): 100
    Up Delay (ms): 0
    Down Delay (ms): 0
    
    Slave Interface: eth0
    MII Status: up
    Speed: 1000 Mbps
    Duplex: full
    Link Failure Count: 1
    Slave queue ID: 0
    
    Slave Interface: eth1
    MII Status: up
    Speed: 1000 Mbps
    Duplex: full
    Link Failure Count: 1
    Slave queue ID: 0
    • 是,该环境的网卡为主备bond模式,执行4
    • 否,执行5

  3. 检查该告警中NetworkCardName参数对应的网卡是否为备网卡。

    • 是,备网卡的告警无法自动恢复,请在告警管理页面手动清除该告警,处理完毕。
    • 否,执行5

      备网卡判断方式:查看配置文件/proc/net/bonding/bond0,NetworkCardName参数对应的网卡名称等于其中一个Slave Interface,但是不等于Currently Active Slave(当前主网卡),则该网卡为备网卡。

检查阈值设置是否合理。

  1. 登录FusionInsight Manager,选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 网络读信息 > 读包丢包率”,查看该告警阈值是否合理(默认0.5%为合理值,用户可以根据自己的实际需求调整)。

    • 是,执行8
    • 否,执行6

  1. 根据实际服务的使用情况在“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 网络读信息 > 读包丢包率”,单击“操作”列的“修改”,更改告警阈值。如图1所示。

    图1 设置告警阈值

  2. 等待5分钟,检查该告警是否恢复。

    • 是,处理完毕。
    • 否,执行8

检查网络是否异常。

  1. 联系网络管理员,检查网络是否存在异常。

    • 是,恢复网络故障,执行9
    • 否,执行10

  2. 等待5分钟,检查该告警是否恢复。

    • 是,处理完毕。
    • 否,执行10

收集故障信息。

  1. 在主集群的FusionInsight Manager界面,选择“运维 > 日志 > 下载”。
  2. 在“服务”中勾选“OMS”,单击“确定”。
  3. 设置“主机”为告警所在节点和主OMS节点。
  4. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟,单击“下载”。
  5. 请联系运维人员,并发送已收集的故障日志信息。

告警清除

此告警修复后,系统会自动清除此告警,无需手工清除。

参考信息

无。