未安装HBase时Hive on Spark任务卡顿如何处理
操作场景
此功能适用于Hive组件。
按如下操作步骤设置参数后,在未安装HBase的环境执行Hive on Spark任务时,可避免任务卡顿。
Hive on Spark任务的Spark内核版本已经升级到Spark2x,可以支持在不安装Spark2x的情况下,执行Hive on Spark任务。如果没有安装HBase,默认在执行Spark任务时,会尝试去连接Zookeeper访问HBase,直到超时,这样会造成任务卡顿。
在未安装HBase的环境,要执行Hive on Spark任务,可以按如下操作处理。如果是从已有HBase低版本环境升级上来的,升级完成之后可不进行设置。
操作步骤
- 登录FusionInsight Manager 。
- 选择“集群 > 待操作集群的名称 > 服务 > Hive > 配置 > 全部配置”。
- 选择“HiveServer(角色) > 自定义”,对参数文件“spark-defaults.conf”添加自定义参数,设置“名称”为“spark.security.credentials.hbase.enabled”,“值”为“false” 。
- 单击“保存”,在弹出对话框单击“确定”。
- 选择“集群 > 待操作集群的名称 > 服务 > Hive > 实例”,勾选所有Hive实例,选择“更多 > 重启实例”,输入密码,单击“确定”。