什么是数据倾斜
数据倾斜指分布式计算中,因某些字段值(热点key)出现次数远超其他值,导致个别Task分到的数据量远超其他Task的现象。这些数据量过大的Task运行时间远超其他Task,成为长尾任务,拖慢整个作业。
数据倾斜大多发生在Shuffle阶段。Shuffle是计算的中间环节:各任务先各自处理数据的切分块(数据分布通常较为均匀);当执行GROUP BY、JOIN、ORDER BY、DISTINCT等操作时,相同字段值的数据需从各节点跨网络归拢到一起才能汇总。某个值的数据量越大,归拢到同一Task的数据就越多。例如统计各城市订单量时,若“上海”有500万条订单、其他城市合计仅1万条,则“上海”的数据将远超其他Task的处理量,形成明显倾斜。
作业运行表现为:作业执行进度长时间停留在99%,作业执行感觉被卡住;Spark UI上某个Stage的大部分Task已完成,仅剩少数Task长时间运行。
如何判断发生数据倾斜
- 判断步骤
- 锁定Stage:在Spark UI的Stages页签中,按Duration降序,选择运行时间最长的Stage。
- 查看指标并确认倾斜:
从以下三个层次判断,其中数据量差距是区分"数据倾斜"与"算子耗时"的关键。
- 看时长差距(表象):在Stage详情的Show Additional Metrics表格中,比较Duration行的Max列(执行时间最长的任务)与Median列(执行时间中位数)的差距;在Tasks表中按Duration降序查看长尾Task,切换到Event Timeline视图可直观看到个别Task拖成很长的横条。
- 看数据量差距(关键判据):对比长尾Task与正常Task的Shuffle Read Size / Records——若长尾Task的读取量是平均值的数十倍甚至更高,即可确认为数据倾斜(而非算子本身耗时)。
- 看资源指标(辅助参考):关注内存(Peak Execution Memory)、磁盘(Input/Output Size)等资源指标是否同步倾斜。
- 定位SQL:根据Stage编号在DAG图中定位对应算子,单击长尾Task查看其stderr/stdout或Executor日志,结合Shuffle Read上游算子定位导致倾斜的key,从而定位到数据倾斜的SQL代码片段。
- 判断示例
例如某Stage的Task统计摘要为:
Duration: min 6s, 25th % 8s, median 13s, 75th % 18s, max 26m40s Shuffle Read Size: min 2MB, median 15MB, max 12GB
对照第2步判据:Duration的max(26m40s)与median(13s)差距悬殊,Shuffle Read Size的max(12GB)与median(15MB)同样存在极端长尾——长尾Task的读取量是平均值的数十倍甚至更高,即可确认为数据倾斜(而非算子本身耗时)。
解决方案
引起数据倾斜的主要原因按出现频率排序有六类。排查时先通过上述判断方法定位到倾斜发生的Stage与算子,再根据算子类型对照下表选择解决方案。
| 序号 | 倾斜场景 | 根因 | 解决思路 |
|---|---|---|---|
| 1 | 大表Join小表或Join Key存在热点值 | 广播小表避免Shuffle;或对热点key切分、加盐打散后分批Join再合并。 | |
| 2 | 分组字段存在热点值 | 对热点key添加随机数拆分,先局部聚合再全局聚合(两阶段聚合)。 | |
| 3 | 去重字段数据分布不均 | 采用两阶段聚合:先按去重字段+随机数分组,再二次聚合。 | |
| 4 | 窗口函数分区字段存在热点值 | 增加随机列作为Partition参数,两阶段窗口函数取TopN。 | |
| 5 | Map阶段部分分区记录数远超其他分区 | 查找记录数较多的大分区,过滤后单独插入,配合repartition控制并发。 | |
| 6 | 非热点key但分区数不足,单Task数据量过大 | 调大分区数:
|