ALM-50842 StoreWorker写并发占用比例超过阈值

告警解释

系统按30秒周期性检测实例StoreWorker并发写占用比例，当检测到数量超过阈值后产生该告警。

当检测到实例StoreWorker并发写占用比例在阈值内时告警恢复。

告警属性

告警参数

对系统的影响

本节点上正在shufflewrite的分区过多，将导致服务器服务效率下降。

可能原因

• 负载倾斜性过大，负载压力过大。
• 节点过少，每个节点压力过大。

处理步骤

检查告警节点的数量占比

1. 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，查看“告警ID”为“50842”的“定位信息”中的角色名并确定实例的IP地址。
2. 选择“集群 > 服务 > MemArtsStore > 实例”，计算所告警Worker实例占所有Worker实例的比例。
   • 如果大于等于5%，执行步骤 3。
   • 如果小于5% ，执行步骤 6。

扩容节点

3. 选择“集群 > 服务 > MemArtsStore > 实例”。
4. 选择添加实例，添加Worker实例。
5. 等待2分钟，查看告警是否自动恢复。
   • 是，处理完毕。
   • 否，执行步骤 8。

回退成native

6. 登录Spark客户端节点，进入目录“/opt/huawei/OneWork/client/Spark/spark/conf”，修改“spark-defaults.conf”文件中的参数spark.shuffle.manager值为sort，如下所示，修改完成后保存退出重新运行任务。

   spark.shuffle.manager = sort

7. 等待2分钟，查看告警是否自动恢复。
   • 是，处理完毕。
   • 否，执行步骤 8。

收集故障信息

8. 在FusionInsight Manager首页，选择“运维 > 日志 > 下载”。
9. 在“服务”中勾选待操作集群的“MemArtsStore”。
10. 单击右上角的编辑按钮设置日志收集的“开始时间”和“结束时间”，分别为告警产生时间的前后10分钟，单击“下载”。
11. 请联系运维人员，并发送已收集的故障日志信息。

告警清除

此告警修复后，系统会自动清除此告警，无需手工清除。

参考信息

不涉及。