更新时间:2024-11-29 GMT+08:00

Spark客户端设置回收站version不生效

问题

Spark客户端设置fs.obs.hdfs.trash.version=1不生效,drop table后文件在回收站的存放路径不改变。

通常,默认情况:

  • 当fs.obs.hdfs.trash.version=2时,回收站路径为:/user/.Trash/${userName}/Current
  • 当fs.obs.hdfs.trash.version=1时,回收站路径为:/user/${userName}/.Trash/Current

解决办法

登录FusionInsight Manager页面,选择“集群 > 服务 > Hive > 配置 > 全部配置 > MetaStore(角色)> 自定义”,在自定义配置项“hive.metastore.customized.configs”中添加参数“fs.obs.hdfs.trash.version”值为“1”,保存并重启Metastore实例。

配置Hive Metastore后,回收站路径正确,如图所示: