ALM-45640 FlinkServer主备节点间心跳中断

告警解释

FlinkServer主节点或备节点连续30秒（keepalive配置的心跳中断时间）未收到对端的心跳消息后，系统产生告警。

当心跳恢复后，告警恢复。

告警属性

告警参数

对系统的影响

FlinkServer主备间心跳中断时只有一个节点提供服务，一旦该节点故障，将无法切换到备节点，导致服务不可用。

可能原因

• FlinkServer的主备实例中，有一个实例处于停止状态。
• FlinkServer节点使用的HA浮点网卡配置异常，导致FlinkServer启动故障。
• 主备FlinkServer节点间链路异常。

处理步骤

检查FlinkServer主备实例状态。

1. 在FusionInsight Manager界面，选择“集群 > 服务 > Flink > 实例”查看FlinkServer实例的状态是否都为“良好”状态。
   • 是，执行3。
   • 否，执行2。

2. 将异常的FlinkServer实例选中，单击“启动实例”，等待实例启动成功后在告警列表中查看该告警是否清除。
   • 是，处理完毕。
   • 否，执行3。
   

   重启FlinkServer实例期间，当前实例无法对外提供服务，已提交的作业不受影响。

检查主备FlinkServer节点间链路是否正常。

3. 通过“集群 > 服务 > Flink > 实例”查看FlinkServer两个实例的业务IP。
4. 以root用户登录异常FlinkServer实例所在的服务器，用户密码为安装前用户自定义，请咨询系统管理员。
5. 执行以下命令检查另一个FlinkServer实例的服务器是否可达。

   ping 另一个FlinkServer实例IP

   • 是，执行8。
   • 否，执行6。

6. 联系网络管理员处理网络故障。
7. 查看告警列表中，该告警是否已清除。
   • 是，处理完毕。
   • 否，执行8。

检查异常FlinkServer实例所在节点日志中是否有异常提示。

8. 以root用户登录异常FlinkServer实例所在的服务器，用户密码为安装前用户自定义，请咨询系统管理员。
9. 打开默认地址为“/var/log/Bigdata/flink/flinkserver/prestart.log”的日志文件，查看日志内是否有“Float ip x.x.x.x is invalid.”字样。
   • 是，执行10。
   • 否，执行12。

10. 在FusionInsight Manager界面，选择“集群 > 服务 > Flink > 配置 > 全部配置”，搜索“flink.ha.floatip”，修改参数值为正确浮动IP，保存配置并重启Flink服务。
    

    • 新的浮动IP请联系网络管理员提供。
    • 重启服务期间，FlinkServer无法对外提供服务，已提交的作业不受影响。
    • 重启FlinkServer实例期间，当前实例无法对外提供服务，已提交的作业不受影响。

11. 查看告警列表中，该告警是否已清除。
    • 是，处理完毕。
    • 否，执行12。

收集故障信息

12. 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。
13. 在“服务”中勾选待操作集群的Flink服务。
14. 在“主机”中勾选对应角色所在的主机，单击“确定”。
15. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。
16. 请联系运维人员，并发送已收集的故障日志信息。

告警清除

此告警修复后，系统会自动清除此告警，无需手工清除。

参考信息

无。