更新时间:2023-03-17 GMT+08:00

未安装HBase时Hive on Spark任务卡顿处理

操作场景

此功能适用于Hive组件。

按如下操作步骤设置参数后,在未安装HBase的环境执行Hive on Spark任务时,可避免任务卡顿。

Hive on Spark任务的Spark内核版本已经升级到Spark2x,可以支持在不安装Spark2x的情况下,执行Hive on Spark任务。如果没有安装HBase,默认在执行Spark任务时,会尝试去连接Zookeeper访问HBase,直到超时,这样会造成任务卡顿。

在未安装HBase的环境,要执行Hive on Spark任务,可以按如下操作处理。如果是从已有HBase低版本环境升级上来的,升级完成之后可不进行设置。

操作步骤

  1. 登录FusionInsight Manager 。
  2. 选择“集群 > 待操作集群的名称 > 服务 > Hive > 配置 > 全部配置”。
  3. 选择“HiveServer(角色) > 自定义”,对参数文件“spark-defaults.conf”添加自定义参数,设置“名称”为“spark.security.credentials.hbase.enabled”,“值”为“false” 。
  4. 单击“保存”,在弹出对话框单击“确定”。
  5. 选择“集群 > 待操作集群的名称 > 服务 > Hive > 实例”,勾选所有Hive实例,选择“更多 > 重启实例”,输入密码,单击“确定”。