Hudi在upsert时占用了临时文件夹中大量空间
问题
Hudi在upsert时占用了临时文件夹中大量空间。
回答
当UPSERT大量输入数据时,如果数据量达到合并的最大内存时,Hudi将溢出部分输入数据到磁盘。
如果有足够的内存,请增加spark executor的内存和添加“hoodie.memory.merge.fraction”选项,如: option("hoodie.memory.merge.fraction", "0.8")
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hudi在upsert时占用了临时文件夹中大量空间。
当UPSERT大量输入数据时,如果数据量达到合并的最大内存时,Hudi将溢出部分输入数据到磁盘。
如果有足够的内存,请增加spark executor的内存和添加“hoodie.memory.merge.fraction”选项,如: option("hoodie.memory.merge.fraction", "0.8")