文档首页 > > 故障排除> 使用Spark> Spark应用下修改split值时报错

Spark应用下修改split值时报错

分享
更新时间: 2019/11/15 GMT+08:00

用户问题

在Spark应用下修改split值时报错。

问题现象

客户需要通过修改一个split最大值来实现多个mapper ,从而达到提速的目的, 但是目前执行set $参数命令修改Hive值时报错。

原因分析

  • 在安全模式下配置白名单启停参数hive.security.whitelist.switch时,需要运行的参数必须在hive.security.authorization.sqlstd.confwhitelist 中配置。

  • 默认白名单中没有包含mapred.max.split.size参数,所以运行的时候会提示不允许。

处理步骤

  1. 登录到MRS Manager,选择“服务管理”->“Hive”->“服务配置”
  2. “参数类别”选择“全部配置”,搜索hive.security.authorization.sqlstd.confwhitelist,把mapred.max.split.size加进hive.security.authorization.sqlstd.confwhitelist,详细信息可参考从零开始使用Hive

  3. 修改完成后,重启Hive组件。
  4. 执行set mapred.max.split.size=1000000,系统不在报错,则表示修改成功。
分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

跳转到云社区