Spark应用下修改split值时报错

用户问题

在Spark应用下修改split值时报错。

问题现象

客户需要通过修改一个split最大值来实现多个mapper ，从而达到提速的目的, 但是目前执行set $参数命令修改Hive值时报错。

原因分析

• 在安全模式下配置白名单启停参数hive.security.whitelist.switch时，需要运行的参数必须在hive.security.authorization.sqlstd.confwhitelist 中配置。

• 默认白名单中没有包含mapred.max.split.size参数，所以运行的时候会提示不允许。

处理步骤

1. 搜索hive.security.authorization.sqlstd.confwhitelist.append，把mapred.max.split.size加进hive.security.authorization.sqlstd.confwhitelist.append中，详细信息可参考“MapReduce服务组件操作指导 > > 使用Hive > 从零开始使用Hive”。
2. 修改完成后，保存配置，重启Hive组件。
3. 执行set mapred.max.split.size=1000000，系统不再报错，则表示修改成功。