更新时间:2024-07-24 GMT+08:00
Spark客户端设置回收站version不生效
问题
Spark客户端设置fs.obs.hdfs.trash.version=1不生效,drop table后文件在回收站的存放路径不改变。
通常,默认情况:
- 当fs.obs.hdfs.trash.version=2时,回收站路径为:/user/.Trash/${userName}/Current
- 当fs.obs.hdfs.trash.version=1时,回收站路径为:/user/${userName}/.Trash/Current
回答
登录Manager页面,选择“集群 > 服务 > Hive > 配置 > 全部配置 > MetaStore(角色)> 自定义”,在自定义配置项“hive.metastore.customized.configs”中添加参数“fs.obs.hdfs.trash.version”值为“1”,保存并重启Metastore实例。
配置Hive Metastore后,回收站路径正确,如图所示:
父主题: Spark常见问题