更新时间:2024-11-26 GMT+08:00
为什么在off heap时数据加载失败?
问题
为什么在off heap时数据加载失败?
回答
YARN Resource Manager将(Java堆内存 + “spark.yarn.am.memoryOverhead”)作为内存限制,因此在off heap时,内存可能会超出此限制。
您需配置“spark-defaults.conf”文件中的参数“spark.yarn.am.memoryOverhead”以增加Memory。
父主题: CarbonData常见问题