更新时间:2022-05-13 GMT+08:00
分享

如何在CarbonData中配置非安全内存?

问题

如何在CarbonData中配置非安全内存?

回答

在Spark配置中,“spark.yarn.executor.memoryOverhead”参数的值应大于CarbonData配置参数“sort.inmemory.size.inmb”“Netty offheapmemory required”参数值的总和,或者“carbon.unsafe.working.memory.in.mb”“carbon.sort.inememory.storage.size.in.mb”“Netty offheapmemory required”参数值的总和。否则,如果堆外(off heap)访问超出配置的executor内存,则YARN可能会停止executor。

“Netty offheapmemory required”说明:当“spark.shuffle.io.preferDirectBufs”设为true时,Spark中netty 传输服务从"spark.yarn.executor.memoryOverhead"中拿掉部分堆内存[~ 384 MB or 0.1 x 执行器内存]。

详细信息请参考常见配置executor堆外内存大小

分享:

    相关文档

    相关产品

close