文档首页/ 数据湖探索 DLI/ 常见问题/ SQL作业类/ SQL作业开发类/ 如何合并小文件
更新时间：2024-11-06 GMT+08:00
查看PDF
分享

如何合并小文件

使用SQL过程中，生成的小文件过多时，会导致作业执行时间过长，且查询对应表时耗时增大，建议对小文件进行合并。

  1. 设置配置项。

    spark.sql.shuffle.partitions = 分区数量（即此场景下最终生成的文件数量）

  2. 执行SQL。 
    INSERT OVERWRITE TABLE tablename
select  * FROM  tablename distribute by rand()
父主题： SQL作业开发类

相关文档