更新时间:2026-11-19 GMT+08:00
分享

什么是数据倾斜

数据倾斜指分布式计算中,因某些字段值(热点key)出现次数远超其他值,导致个别Task分到的数据量远超其他Task的现象。这些数据量过大的Task运行时间远超其他Task,成为长尾任务,拖慢整个作业。

数据倾斜大多发生在Shuffle阶段。Shuffle是计算的中间环节:各任务先各自处理数据的切分块(数据分布通常较为均匀);当执行GROUP BY、JOIN、ORDER BY、DISTINCT等操作时,相同字段值的数据需从各节点跨网络归拢到一起才能汇总。某个值的数据量越大,归拢到同一Task的数据就越多。例如统计各城市订单量时,若“上海”有500万条订单、其他城市合计仅1万条,则“上海”的数据将远超其他Task的处理量,形成明显倾斜。

作业运行表现为:作业执行进度长时间停留在99%,作业执行感觉被卡住;Spark UI上某个Stage的大部分Task已完成,仅剩少数Task长时间运行。

如何判断发生数据倾斜

  • 判断步骤
    1. 锁定Stage:在Spark UI的Stages页签中,按Duration降序,选择运行时间最长的Stage。
    2. 查看指标并确认倾斜:

      从以下三个层次判断,其中数据量差距是区分"数据倾斜"与"算子耗时"的关键。

      • 看时长差距(表象):在Stage详情的Show Additional Metrics表格中,比较Duration行的Max列(执行时间最长的任务)与Median列(执行时间中位数)的差距;在Tasks表中按Duration降序查看长尾Task,切换到Event Timeline视图可直观看到个别Task拖成很长的横条。
      • 看数据量差距(关键判据):对比长尾Task与正常Task的Shuffle Read Size / Records——若长尾Task的读取量是平均值的数十倍甚至更高,即可确认为数据倾斜(而非算子本身耗时)。
      • 看资源指标(辅助参考):关注内存(Peak Execution Memory)、磁盘(Input/Output Size)等资源指标是否同步倾斜。
    3. 定位SQL:根据Stage编号在DAG图中定位对应算子,单击长尾Task查看其stderr/stdout或Executor日志,结合Shuffle Read上游算子定位导致倾斜的key,从而定位到数据倾斜的SQL代码片段。
  • 判断示例

    例如某Stage的Task统计摘要为:

    Duration: min 6s, 25th % 8s, median 13s, 75th % 18s, max 26m40s 
    Shuffle Read Size: min 2MB, median 15MB, max 12GB 

    对照第2步判据:Duration的max(26m40s)与median(13s)差距悬殊,Shuffle Read Size的max(12GB)与median(15MB)同样存在极端长尾——长尾Task的读取量是平均值的数十倍甚至更高,即可确认为数据倾斜(而非算子本身耗时)。

解决方案

引起数据倾斜的主要原因按出现频率排序有六类。排查时先通过上述判断方法定位到倾斜发生的Stage与算子,再根据算子类型对照下表选择解决方案。

序号

倾斜场景

根因

解决思路

1

Join

大表Join小表或Join Key存在热点值

广播小表避免Shuffle;或对热点key切分、加盐打散后分批Join再合并。

2

Group By

分组字段存在热点值

对热点key添加随机数拆分,先局部聚合再全局聚合(两阶段聚合)。

3

Count(Distinct)

去重字段数据分布不均

采用两阶段聚合:先按去重字段+随机数分组,再二次聚合。

4

ROW_NUMBER(TopN)

窗口函数分区字段存在热点值

增加随机列作为Partition参数,两阶段窗口函数取TopN。

5

动态分区

Map阶段部分分区记录数远超其他分区

查找记录数较多的大分区,过滤后单独插入,配合repartition控制并发。

6

分区过少

非热点key但分区数不足,单Task数据量过大

调大分区数:

  • 开启AQE时:调spark.sql.adaptive.coalescePartitions.minPartitionNum;
  • 关闭AQE时:调spark.sql.shuffle.partitions。

相关文档