更新时间:2025-04-22 GMT+08:00
分享

ALM-12006 节点故障

告警解释

Controller按30秒周期检测NodeAgent心跳。当Controller未接收到某一个NodeAgent的心跳,则尝试重启该NodeAgent进程,如果连续三次重启失败,产生该告警。

当Controller可以正常接收时,告警恢复。

MRS 3.3.0及之后版本,该告警名称变更为“NodeAgent进程异常”。

告警属性

告警ID

告警级别

是否自动清除

12006

重要

告警参数

参数名称

参数含义

来源

产生告警的集群或系统名称。

服务名

产生告警的服务名称。

角色名

产生告警的角色名称。

主机名

产生告警的主机名。

对系统的影响

NodeAgent代理进程异常,无法上报心跳至平台。如果因为网络、硬件故障或ssh互信造成,则组件业务无法保证正常。

可能原因

  • 网络断连、硬件故障或操作系统执行命令缓慢。
  • NodeAgent进程内存不足。
  • NodeAgent进程故障。

处理步骤

检查网络是否断连、硬件是否故障或者操作系统执行命令缓慢。

  1. 在FusionInsight Manager页面,选择“运维 > 告警 > 告警”,单击此告警所在行的,单击主机名,查看该告警的主机地址信息。
  2. root用户登录主管理节点,用户密码为安装前用户自定义,请咨询系统管理员

    管理节点的主备状态及对应IP地址可在FusionInsight Manager主机管理界面查看。

    如果当前故障节点为主管理节点,当登录主管理节点时无法登录,则说明可能为主管理节点网络故障,请执行步骤 4

  3. 执行命令检查故障节点是否可达。

    ping 故障主机IP地址

  4. 联系网络管理员查看是否为网络故障。

  5. 修复网络故障,查看告警列表中,该告警是否已清除。

    • 是,处理完毕。
    • 否,执行步骤 6

  6. 联系硬件管理员查看是否节点硬件故障(CPU或者内存等)。

  7. 维修或者更换故障部件,并重启节点。查看告警列表中,该告警是否已清除。

    • 是,处理完毕。
    • 否,执行步骤 8

  8. 当集群中上报大量的节点故障时,可能是浮动IP资源异常导致Controller无法检测NodeAgent心跳。

    root用户登录集群任一管理节点,查看“/var/log/Bigdata/omm/oms/ha/scriptlog/floatip.log”,查看故障出现前后1~2分钟的日志是否完整。

    cat /var/log/Bigdata/omm/oms/ha/scriptlog/floatip.log

    例如完整日志为如下格式:

    2017-12-09 04:10:51,000 INFO (floatip) Read from ${BIGDATA_HOME}/om-server_*/om/etc/om/routeSetConf.ini,value is : yes
    2017-12-09 04:10:51,000 INFO (floatip) check wsNetExport : eth0 is up.
    2017-12-09 04:10:51,000 INFO (floatip) check omNetExport : eth0 is up.
    2017-12-09 04:10:51,000 INFO (floatip) check wsInterface : eRth0:oms, wsFloatIp: XXX.XXX.XXX.XXX.
    2017-12-09 04:10:51,000 INFO (floatip) check omInterface : eth0:oms, omFloatIp: XXX.XXX.XXX.XXX.
    2017-12-09 04:10:51,000 INFO (floatip) check  wsFloatIp : XXX.XXX.XXX.XXX is reachable.
    2017-12-09 04:10:52,000 INFO (floatip) check  omFloatIp : XXX.XXX.XXX.XXX is reachable.

  9. 查看检测完wsNetExport后是否有打印omNetExport的检测日志或两条日志打印间隔时间超过10秒或更长时间。

  10. 查看操作系统的“/var/log/message”文件,确认故障出现时间段是否有sssd频繁重启或者nscd异常信息。

    cat /var/log/message

    sssd重启样例如下:

    Feb  7 11:38:16 10-132-190-105 sssd[pam]: Shutting down
    Feb  7 11:38:16 10-132-190-105 sssd[nss]: Shutting down
    Feb  7 11:38:16 10-132-190-105 sssd[nss]: Shutting down
    Feb  7 11:38:16 10-132-190-105 sssd[be[default]]: Shutting down
    Feb  7 11:38:16 10-132-190-105 sssd: Starting up
    Feb  7 11:38:16 10-132-190-105 sssd[be[default]]: Starting up
    Feb  7 11:38:16 10-132-190-105 sssd[nss]: Starting up
    Feb  7 11:38:16 10-132-190-105 sssd[pam]: Starting up

    nscd异常样例如下:

    Feb 11 11:44:42 10-120-205-33 nscd: nss_ldap: failed to bind to LDAP server ldaps://10.120.205.55:21780: Can't contact LDAP server
    Feb 11 11:44:43 10-120-205-33 ntpq: nss_ldap: failed to bind to LDAP server ldaps://10.120.205.55:21780: Can't contact LDAP server
    Feb 11 11:44:44 10-120-205-33 ntpq: nss_ldap: failed to bind to LDAP server ldaps://10.120.205.92:21780: Can't contact LDAP server

  11. 排查LdapServer节点是否故障,例如业务IP不可达、网络延时过长等。若故障为阶段性,则需在故障时排查,并尝试执行top命令查看是否存在异常软件。

    LdapServer节点信息可通过登录集群Manager后,进入“集群 > 服务 > LdapServer > 实例”页面查看。

检查是否NodeAgent进程内存不足。

  1. root用户登录故障节点,执行以下命令查看NodeAgent进程日志。

    vi /var/log/Bigdata/nodeagent/scriptlog/agent_gc.log.*.current

  2. 检查日志中是否有元空间大小不足、或堆内存大小不足的报错。

    通常元空间不足异常关键字为“java.lang.OutOfMemoryError: Metaspace”,堆内存不足异常关键字为“java.lang.OutOfMemoryError: Java heap space”。

    例如报错日志如下:

    java.lang.OutOfMemoryError:  Metaspace
             at java.lang.ClassLoader.defineClass1(Native Method)
             ...

  3. 切换为omm用户,根据集群版本编辑对应配置文件,并适当增大NodeAgent初始堆内存“nodeagent.Xms”和最大堆内存“nodeagent.Xmx”的参数值大小。

    su - omm

    参数所在文件路径如下:

    • MRS 3.2.1之前版本集群:
      vi /opt/Bigdata/om-agent/nodeagent/bin/nodeagent_ctl.sh
    • MRS 3.2.1及之后版本集群:
      vi $NODE_AGENT_HOME/etc/agent/nodeagent.properties

    例如“nodeagent.Xms=1024m”修改为“nodeagent.Xms=2048m”。

  4. 保存文件修改后执行命令重启NodeAgent服务。

    停止NodeAgent:

    sh ${BIGDATA_HOME}/om-agent/nodeagent/bin/stop-agent.sh

    启动NodeAgent:

    sh ${BIGDATA_HOME}/om-agent/nodeagent/bin/start-agent.sh

  5. 等待一段时间观察告警是否自动清除。

    • 是,处理完毕。
    • 否,执行步骤 17

检查是否NodeAgent进程故障

  1. root用户登录故障节点,执行如下命令。

    切换为omm用户:

    su - omm

    查看NodeAgent进程:

    ps -ef | grep "Dprocess.name=nodeagent" | grep -v grep

  2. 检查NodeAgent进程查询结果是否为空。

  3. 查看NodeAgent启动与运行日志排查故障原因,待故障解决后执行步骤 20

    • NodeAgent运行日志:
      /var/log/Bigdata/nodeagent/agentlog/agent.log
    • NodeAgent启动日志:
      /var/log/Bigdata/nodeagent/scriptlog/nodeagent_ctl.log

  4. 执行如下命令重启NodeAgent服务。

    停止NodeAgent:

    sh ${BIGDATA_HOME}/om-agent/nodeagent/bin/stop-agent.sh

    启动NodeAgent:

    sh ${BIGDATA_HOME}/om-agent/nodeagent/bin/start-agent.sh

收集故障信息。

  1. 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。
  2. 在“服务”中勾选如下节点信息,单击“确定”。

    • NodeAgent
    • Controller
    • OS

  3. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。
  4. 请联系运维人员,并发送已收集的故障日志信息。

告警清除

此告警修复后,系统会自动清除此告警,无需手工清除。

参考信息

无。

相关文档