更新时间:2025-01-10 GMT+08:00

如何合并小文件

使用SQL过程中,生成的小文件过多时,会导致作业执行时间过长,且查询对应表时耗时增大,建议对小文件进行合并。

推荐使用临时表进行数据中转 自读自写在突发异常场景下存在数据丢失的风险

执行SQL:
INSERT OVERWRITE TABLE tablename
select  * FROM  tablename
DISTRIBUTE BY floor(rand()*20)