文档首页/ MapReduce服务 MRS/ 用户指南/ MRS集群运维/ MRS集群告警处理参考/ ALM-45745 Guardian TokenServer RPC队列平均时间超过阈值
更新时间：2024-11-22 GMT+08:00
查看PDF
分享

ALM-45745 Guardian TokenServer RPC队列平均时间超过阈值

告警解释

系统每30秒周期性检测TokenServer服务RPC队列平均时间，当连续5次检测到TokenServer实例RPC队列平均时间超出阈值时产生该告警。

当系统检测到TokenServer服务RPC队列平均时间小于阈值时，告警恢复。

该告警仅适用于MRS 3.5.0及之后版本。

告警属性

告警ID

告警级别

是否可自动清除

45745

紧急（默认阈值为300ms）

重要（默认阈值为200ms）

是

告警参数

类别

参数名称

参数含义

定位信息

来源

产生告警的集群名称。

服务名

产生告警的服务名称。

角色名

产生告警的角色名称。

主机名

产生告警的主机名称。

附加信息

Trigger Condition

系统当前指标取值满足自定义的告警设置条件。

对系统的影响

Guardian TokenServer实例RPC队列平均时间超过阈值可能导致业务访问OBS变慢，严重时会导致无法正常访问OBS。

可能原因

  • 告警阈值配置不合理。
  • 或Guardian TokenServer实例设置的内存太小，频繁Full GC造成JVM卡顿。

处理步骤

检查告警阈值设置是否合理。

  1. 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，查看该告警的详细信息，记录“定位信息”中上报告警的TokenServer实例的主机名称。
  2. 在FusionInsight Manager首页，选择“集群 > 服务 > Guardian > 实例”，单击1获取的实例主机名对应的TokenServer角色，单击图表区域右上角的下拉菜单，选择“定制 > RPC > TokenServer RPC队列平均时间”，单击“确定”。
  3. 查看TokenServer RPC队列平均时间是否已达到该告警设定的阈值（紧急告警默认阈值为300ms；重要告警默认阈值为200ms）。

    • 是，执行4。
    • 否，执行6。

  4. 在FusionInsight Manager首页，选择“运维 > 告警 > 阈值设置 > 待操作的集群名称 > Guardian > RPC”，单击“TokenServer RPC队列平均时间”，单击“default”规则所在行的“操作”列的“修改”，修改“紧急”或“重要”告警级别对应的“阈值”为告警出现后1天内监控值的峰值的150%，单击“确定”保存。
  5. 等待5分钟，查看该告警是否自动清除。

    • 是，处理完毕。
    • 否，执行6。

查看Guardian TokenServer内存设置是否过小。

  1. 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，该TokenServer实例是否上报“TokenServer堆内存使用率超过阈值”告警。

    • 是，执行7。
    • 否，执行9。

  2. 按照“ALM-45737 TokenServer堆内存使用率超过阈值”的处理步骤处理该故障。
  3. 等待10分钟，查看该告警是否自动消除。

    • 是，处理完毕。
    • 否，执行9。

收集故障信息。

  1. 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。
  2. 在“服务”框中勾选待操作集群的“Guardian”。
  3. 单击右上角的时间编辑按钮，设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。
  4. 请联系运维人员，并发送已收集的故障日志信息。

告警清除

此告警修复后，系统会自动清除此告警，无需手工清除。

参考信息

不涉及。

相关文档