文档首页 > > 故障排除> 使用Spark> Spark应用下修改split值时报错

Spark应用下修改split值时报错

分享
更新时间:2020/08/28 GMT+08:00

用户问题

在Spark应用下修改split值时报错。

问题现象

客户需要通过修改一个split最大值来实现多个mapper ,从而达到提速的目的, 但是目前执行set $参数命令修改Hive值时报错。

原因分析

  • 在安全模式下配置白名单启停参数hive.security.whitelist.switch时,需要运行的参数必须在hive.security.authorization.sqlstd.confwhitelist 中配置。

  • 默认白名单中没有包含mapred.max.split.size参数,所以运行的时候会提示不允许。

处理步骤

  1. 进入服务参数配置界面。

    MRS Manager界面操作:登录MRS Manager,选择“服务管理 > Hive > 服务配置”,“参数类别”设置为“全部配置”。

    FusionInsight Manager界面操作:登录FusionInsight Manager。选择“集群 > 服务 > Hive”,单击“配置”,选择“全部配置”。

  2. 搜索hive.security.authorization.sqlstd.confwhitelist.append,把mapred.max.split.size加进hive.security.authorization.sqlstd.confwhitelist.append中,详细信息可参考从零开始使用Hive
  3. 修改完成后,保存配置,重启Hive组件。
  4. 执行set mapred.max.split.size=1000000,系统不在报错,则表示修改成功。
分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问