ALM-50845 Spark任务数据倾斜告警

告警解释

系统按周期性检测Spark数据倾斜情况，当检测到数量超过阈值后产生该告警。

告警属性

告警参数

对系统的影响

本节点上Spark数据倾斜严重，将导致服务器服务效率下降。

可能原因

负载倾斜性过大，负载压力过大。

处理步骤

回退成native

1. 登录Spark客户端节点，进入目录“/opt/huawei/OneWork/client/Spark/spark/conf”，修改“spark-defaults.conf”文件中的参数spark.shuffle.manager值为sort，如下所示，修改完成后保存退出重新运行任务。

   spark.shuffle.manager = sort

2. 等待2分钟，查看告警是否自动恢复。
   • 是，处理完毕。
   • 否，执行步骤 3。

收集故障信息

3. 在FusionInsight Manager首页，选择“运维 > 日志 > 下载”。
4. 在“服务”中勾选待操作集群的“MemArtsStore”。
5. 单击右上角的编辑按钮设置日志收集的“开始时间”和“结束时间”，分别为告警产生时间的前后10分钟，单击“下载”。
6. 请联系运维人员，并发送已收集的故障日志信息。

告警清除

此告警修复后，系统会自动清除此告警，无需手工清除。

参考信息

不涉及。