文档首页/ MapReduce服务 MRS/ 故障排除/ 使用HDFS/ 使用distcp命令拷贝空文件夹报错
更新时间:2022-11-30 GMT+08:00
分享

使用distcp命令拷贝空文件夹报错

问题背景与现象

通过MRS客户端使用以下distcp命令,无法从HDFS复制空文件夹到OBS。

hadoop distcp -Dfs.obs.endpoint=xxx

-Dfs.obs.access.key=xxx -Dfs.obs.secret.key=xxx -update hdfs://hacluster/blee obs://xxx/aaa

原因分析

如果源端(例如“blee”)为空目录,且目的端(例如“aaa”)目录不存在,系统会自动创建出来“aaa”目录,但是不会在“aaa”目录下面再创建“blee”目录。

如果源端“blee”不是空目录,且目的端“aaa”目录不存在,系统会自动创建出来“aaa”目录,并在“aaa”目录下面再创建“blee”目录,进行文件迁移。

解决办法

  • 进行迁移操作时,源端目录(例如“blee”)不建议为空。
  • 如果源端目录为空,在执行迁移前,需要手动创建目的端目录,即手动创建“aaa”目录。

相关文档