为什么在off heap时数据加载失败？

问题

为什么在off heap时数据加载失败？

回答

YARN Resource Manager将（Java堆内存 + “spark.yarn.am.memoryOverhead”）作为内存限制，因此在off heap时，内存可能会超出此限制。

您需配置“spark-defaults.conf”文件中的参数“spark.yarn.am.memoryOverhead”以增加Memory。