更新时间:2022-09-30 GMT+08:00
分享

为什么在off heap时数据加载失败?

问题

为什么在off heap时数据加载失败?

回答

YARN Resource Manager将(Java堆内存 + “spark.yarn.am.memoryOverhead”)作为内存限制,因此在off heap时,内存可能会超出此限制。您需配置参数“spark.yarn.am.memoryOverhead”以增加memory。

分享:

    相关文档

    相关产品