配置JobHistory本地磁盘缓存

操作场景

JobHistory可使用本地磁盘缓存Spark应用的历史数据，以防止JobHistory内存中加载大量应用数据，减少内存压力，同时该部分缓存数据可以复用以提高后续对相同应用的访问速度。

配置参数

1. 登录FusionInsight Manager系统。

   详细操作请参考访问集群Manager。

2. 选择“集群 > 服务 > Spark2x/Spark > 配置”，单击“全部配置”，搜索并调整以下参数。

   参数	参数说明	取值示例
   spark.history.store.path	JobHistory缓存历史信息的本地目录，如果设置了此配置，则JobHistory会将历史应用数据缓存在本地磁盘而不是内存中。	${BIGDATA_HOME}/tmp/spark2x_JobHistory
   spark.history.store.maxDiskUsage	JobHistory本地磁盘缓存的最大可用空间。	10GB

3. 修改参数配置后，单击“保存”，根据界面提示操作后，等待配置保存成功。
4. Spark服务端配置更新后，如果“配置状态”为“配置过期”，则需重启组件以使配置生效。
   图1 修改Spark配置
   
   在Spark服务概览页面，选择“更多 > 重启服务/滚动重启服务”，验证管理员密码后，等待服务重启成功。

   

   组件重启期间将无法对外提供服务，可能会影响集群的上层业务正常运行，请在业务空闲期或确认操作无影响后再执行本操作。