ALM-12006 NodeAgent进程异常

告警解释

Controller按30秒周期检测NodeAgent心跳。当Controller未接收到某一个NodeAgent的心跳，则尝试重启该NodeAgent进程，如果连续三次重启失败，产生该告警。

当Controller可以正常接收时，告警恢复。

告警属性

告警参数

对系统的影响

NodeAgent代理进程异常，无法上报心跳至平台。如果因为网络、硬件故障或ssh互信造成，则组件业务无法保证正常。

可能原因

• 网络断连、硬件故障或操作系统执行命令缓慢。
• NodeAgent进程内存不足。
• NodeAgent进程故障。

处理步骤

检查网络是否断连、硬件是否故障或者操作系统执行命令缓慢。

1. 在FusionInsight Manager页面，选择“运维 > 告警 > 告警”，单击此告警所在行的，单击主机名，查看该告警的主机地址。
2. 以root用户登录主管理节点。
   

   如果当前故障节点为主管理节点，当登录主管理节点时无法登录，则说明可能为主管理节点网络故障，请执行4。

3. 执行ping 故障主机IP地址命令检查故障节点是否可达。
   • 是，执行12。
   • 否，执行4。

4. 联系网络管理员查看是否为网络故障。
   • 是，执行5。
   • 否，执行6。

5. 修复网络故障，查看告警列表中，该告警是否已清除。
   • 是，处理完毕。
   • 否，执行6。

6. 联系硬件管理员查看是否节点硬件故障（CPU或者内存等）。
   • 是，执行7。
   • 否，执行12。

7. 维修或者更换故障部件，并重启节点。查看告警列表中，该告警是否已清除。
   • 是，处理完毕。
   • 否，执行8。

8. 当集群中上报大量的节点故障时，可能是浮动IP资源异常导致Controller无法检测NodeAgent心跳。

   登录任一管理节点，查看“/var/log/Bigdata/omm/oms/ha/scriptlog/floatip.log”，查看故障出现前后1-2分钟的日志是否完整。

   例如：完整日志为如下格式：

   2017-12-09 04:10:51,000 INFO (floatip) Read from ${BIGDATA_HOME}/om-server_8.1.0.1/om/etc/om/routeSetConf.ini,value is : yes
   2017-12-09 04:10:51,000 INFO (floatip) check wsNetExport : eth0 is up.
   2017-12-09 04:10:51,000 INFO (floatip) check omNetExport : eth0 is up.
   2017-12-09 04:10:51,000 INFO (floatip) check wsInterface : eRth0:oms, wsFloatIp: XXX.XXX.XXX.XXX.
   2017-12-09 04:10:51,000 INFO (floatip) check omInterface : eth0:oms, omFloatIp: XXX.XXX.XXX.XXX.
   2017-12-09 04:10:51,000 INFO (floatip) check  wsFloatIp : XXX.XXX.XXX.XXX is reachable.
   2017-12-09 04:10:52,000 INFO (floatip) check  omFloatIp : XXX.XXX.XXX.XXX is reachable.

   • 是，执行12。
   • 否，执行9。

9. 查看检测完wsNetExport后是否打印omNetExport的检测日志或两条日志打印间隔时间超过10s或更长。
   • 是，执行10。
   • 否，执行12。

10. 查看操作系统的“/var/log/message”，查看故障出现时间段是否有sssd频繁重启或者nscd异常信息。

    sssd重启样例

    Feb  7 11:38:16 10-132-190-105 sssd[pam]: Shutting down
    Feb  7 11:38:16 10-132-190-105 sssd[nss]: Shutting down
    Feb  7 11:38:16 10-132-190-105 sssd[nss]: Shutting down
    Feb  7 11:38:16 10-132-190-105 sssd[be[default]]: Shutting down
    Feb  7 11:38:16 10-132-190-105 sssd: Starting up
    Feb  7 11:38:16 10-132-190-105 sssd[be[default]]: Starting up
    Feb  7 11:38:16 10-132-190-105 sssd[nss]: Starting up
    Feb  7 11:38:16 10-132-190-105 sssd[pam]: Starting up

    nscd异常信息样例

    Feb 11 11:44:42 10-120-205-33 nscd: nss_ldap: failed to bind to LDAP server ldaps://10.120.205.55:21780: Can't contact LDAP server
    Feb 11 11:44:43 10-120-205-33 ntpq: nss_ldap: failed to bind to LDAP server ldaps://10.120.205.55:21780: Can't contact LDAP server
    Feb 11 11:44:44 10-120-205-33 ntpq: nss_ldap: failed to bind to LDAP server ldaps://10.120.205.92:21780: Can't contact LDAP server

    • 是，执行11。
    • 否，执行12。

11. 排查LdapServer节点是否故障，例如业务IP不可达、网络延时过长等；若故障为阶段性，则需在故障时排查，并尝试执行top命令查看是否存在异常软件。

检查是否NodeAgent进程内存不足。

12. 以root用户登录故障节点，执行以下命令查看NodeAgent进程日志。

    vi /var/log/Bigdata/nodeagent/scriptlog/agent_gc.log.*.current

13. 检查日志中是否有元空间大小不足、或堆内存大小不足的报错。
    • 是，执行14。
    • 否，执行17。

14. 执行su - omm切换为omm用户，适当增大“$NODE_AGENT_HOME/etc/agent/nodeagent.properties”文件中的“nodeagent.Xms”初始堆内存参数值和“nodeagent.Xmx”最大堆内存参数值大小，并保存修改。
15. 执行如下命令重启Agent服务。

    sh ${BIGDATA_HOME}/om-agent/nodeagent/bin/stop-agent.sh

    sh ${BIGDATA_HOME}/om-agent/nodeagent/bin/start-agent.sh

16. 等待一段时间观察告警是否自动清除。
    • 是，处理完毕。
    • 否，执行17。

检查是否NodeAgent进程故障。

17. 使用omm用户登录故障节点，执行如下命令。

    ps -ef | grep "Dprocess.name=nodeagent" | grep -v grep

18. 检查查询结果是否为空。
    • 是，执行19。
    • 否，执行21。

19. 查看Agent启动与运行日志排查故障原因，待故障解决后执行20。
    • Agent运行日志：/var/log/Bigdata/nodeagent/agentlog/agent.log
    • Agent启停日志：/var/log/Bigdata/nodeagent/scriptlog/nodeagent_ctl.log

20. 执行如下命令重启Agent服务。

    sh ${BIGDATA_HOME}/om-agent/nodeagent/bin/stop-agent.sh

    sh ${BIGDATA_HOME}/om-agent/nodeagent/bin/start-agent.sh

收集故障信息。

21. 在FusionInsight Manager界面，选择“运维>日志>下载”。
22. 在“服务”中勾选如下节点信息，单击“确定”。
    • NodeAgent
    • Controller
    • OS

23. 单击右上角的编辑按钮设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。
24. 请联系运维人员，并发送已收集的故障日志信息。

告警清除

此告警修复后，系统会自动清除此告警，无需手工清除。

参考信息

不涉及。