运行Spark应用时修改split值报错

用户问题

在Spark应用下修改split值时报错。

问题现象

用户需要通过修改一个split最大值来实现多个mapper，从而达到提速的目的，但是执行set命令修改Hive的配置时报错。

0: jdbc:hive2://192.168.1.18:21066/> set mapred.max.split.size=1000000;
Error: Error while processing statement: Cannot nodify mapred.max.split.size at runtime. It is not in list of params that are allowed to be modified at runtime( state=42000,code=1)

原因分析

• 在安全模式下配置白名单启停参数hive.security.whitelist.switch时，需要运行的参数必须在hive.security.authorization.sqlstd.confwhitelist中配置。

  

• 默认白名单中没有包含mapred.max.split.size参数，所以运行的时候会提示不允许。

处理步骤

1. 进入Hive服务配置页面：
   • MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > Hive > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。
     

     如果集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。

   • MRS 3.x及后续版本，登录FusionInsight Manager，然后选择“集群 > 服务 > Hive > 配置 > 全部配置”。

2. 搜索hive.security.authorization.sqlstd.confwhitelist.append，把mapred.max.split.size加进hive.security.authorization.sqlstd.confwhitelist.append中，详细信息可参考从零开始使用Hive。
3. 修改完成后，保存配置，重启Hive组件。
4. 重新在Hive Beeline命令行中执行set mapred.max.split.size=1000000;。