文档首页/ MapReduce服务 MRS/ 组件操作指南（普通版）/ 使用Hudi/ Hudi常见问题/ 数据写入/ Hudi在upsert时占用了临时文件夹中大量空间
更新时间：2022-09-30 GMT+08:00
查看PDF
分享

Hudi在upsert时占用了临时文件夹中大量空间

问题

Hudi在upsert时占用了临时文件夹中大量空间。

回答

当UPSERT大量输入数据时，如果数据量达到合并的最大内存时，Hudi将溢出部分输入数据到磁盘。

如果有足够的内存，请增加spark executor的内存和添加“hoodie.memory.merge.fraction”选项，如： option("hoodie.memory.merge.fraction", "0.8")

父主题： 数据写入

相关文档