文档首页/ MapReduce服务 MRS/ 用户指南/ MRS集群运维/ MRS集群告警处理参考/ ALM-12012 NTP服务异常(2.x及以前版本)
更新时间:2024-08-13 GMT+08:00
分享

ALM-12012 NTP服务异常(2.x及以前版本)

告警解释

当节点NTP服务无法与主OMS节点NTP服务正常同步时间时产生该告警。

当节点NTP服务与主OMS节点NTP服务正常同步时间时恢复该告警。

告警属性

告警ID

告警级别

可自动清除

12012

严重

告警参数

参数名称

参数含义

ServiceName

产生告警的服务名称。

RoleName

产生告警的角色名称。

HostName

产生告警的主机名。

对系统的影响

该节点的时间与集群其它节点的时间不同步,可能会导致该节点上的某些MRS应用无法正常运行。

可能原因

  • 该节点的NTP服务无法正常启动。
  • 该节点与主OMS节点NTP服务不能正常同步时间。
  • 该节点NTP认证的key值与主OMS节点NTP服务的key值不一致。
  • 该节点与主OMS节点NTP服务时间偏差太大。

处理步骤

  1. 检查该节点的NTP服务是否正常启动。

    1. 检查ntpd进程是否运行在告警节点上。登录告警节点,执行sudo su - root切换用户。执行以下命令,检查命令是否输出ntpd进程的信息。

      ps -ef | grep ntpd | grep -v grep

      • 是,执行2.a
      • 否,执行1.b
    2. 执行service ntp start启动NTP服务。
    3. 10分钟后,检查该告警是否恢复。
      • 是,处理完毕。
      • 否,执行2.a

  2. 检查该节点与主OMS节点NTP服务是否正常同步时间。

    1. 查看NTP告警的“附加信息”是否描述与主OMS节点NTP服务无法同步时间。

      是,执行2.b

      否,执行3

    2. 排查与主OMS节点NTP服务的同步是否有问题。

      登录告警节点执行sudo su - root切换用户,执行ntpq -np命令。

      如果显示结果的主OMS节点NTP服务IP地址前有“*”号,表示同步正常,如下:

      remote refid st t when poll reach delay offset jitter
      ==============================================================================
      *10.10.10.162 .LOCL. 1 u 1 16 377 0.270 -1.562 0.014

      如果显示结果的主OMS节点NTP服务IP前无“*”号,且“refid”项内容为“.INIT.”,表示同步不正常。

      remote refid st t when poll reach delay offset jitter
      ==============================================================================
      10.10.10.162 .INIT. 1 u 1 16 377 0.270 -1.562 0.014
      • 是,执行2.c
      • 否,执行3
    3. 处理对应问题,问题解决后等待10分钟,检查该告警是否恢复。

      NTP不能正常同步,通常与系统防火墙有关:如果能关闭防火墙,建议尝试关闭防火墙后查看问题能否解决;如果不能关闭防火墙,请检查防火墙配置策略,确保UDP 123端口未禁用(具体遵循各系统下防火墙配置策略)。

      • 是,处理完毕。
      • 否,执行3

  3. 检查该节点NTP认证的key值与主OMS节点NTP服务的key值是否相同。

    执行cat /etc/ntp.keys查看key值索引号为1的认证码是否与主OMS节点NTP服务的值相同。

    • 是,执行4.a
    • 否,执行5

  4. 检查该节点与主OMS节点NTP服务时间偏差是否太大。

    1. NTP告警的“附加信息”是否描述时间偏差(time offset)太大。
      • 是,执行4.b
      • 否,执行5
    2. 在“主机管理”页面,勾选告警节点的主机,选择“更多 > 停止所有角色”停止告警节点的所有服务。

      如果告警节点时间比主OMS节点NTP服务时间慢,校正告警节点的系统时间。校正告警节点的系统时间后,选择“更多 > 启动所有角色”启动告警节点的服务。

      如果告警节点时间比主OMS节点NTP服务时间快,等待相应时间差,校正告警节点的系统时间。校正完成后,选择“更多 > 启动所有角色”启动告警节点的服务。

      如果不做相应等待,可能造成数据丢失风险。

    3. 10分钟后,检查该告警是否恢复。
      • 是,处理完毕。
      • 否,执行5

  5. 收集故障信息。

    1. 在MRS Manager界面,单击“系统设置 > 日志导出”。
    2. 请联系运维人员,并发送已收集的故障日志信息。

参考信息

无。

相关文档