更新时间:2025-01-10 GMT+08:00
如何合并小文件
使用SQL过程中,生成的小文件过多时,会导致作业执行时间过长,且查询对应表时耗时增大,建议对小文件进行合并。
推荐使用临时表进行数据中转 自读自写在突发异常场景下存在数据丢失的风险
执行SQL:
INSERT OVERWRITE TABLE tablename select * FROM tablename DISTRIBUTE BY floor(rand()*20)
父主题: SQL作业开发类