更新时间:2024-11-29 GMT+08:00

Hive客户端设置hive.exec.stagingdir异常

操作场景

Hive默认不支持在客户端修改插入数据时创建的临时目录,若在客户端执行set hive.exec.stagingdir=xxx命令修改临时目录会报如下错误:

回答

“hive.exec.stagingdir”用于设置插入数据时创建的临时目录,设置此参数后可能导致并发向同一张表插入时部分数据丢失,默认不允许设置;若不存在并发插入数据场景,需要支持客户端设置此参数,请参考处理步骤操作。

处理步骤

  1. 登录FusionInsight Manager,选择“集群 > 服务 > Hive > 配置 > 全部配置 > HiveServer(角色) > 自定义”,在自定义参数文件“hive-site.xml”中添加自定义配置项“hive.conf.internal.variable.list”,值为“hive.added.files.path,hive.added.jars.path,hive.added.archives.path”。
  2. 单击“保存”,在弹出对话框单击“确定”。
  3. 单击“实例”,勾选所有HiveServer实例,选择“更多 > 重启实例”,输入管理员用户密码,单击“确定”,重启HiveServer实例。