更新时间:2022-12-14 GMT+08:00
distcp命令在安全集群上失败并抛出异常
问题
为何distcp命令在安全集群上失败并抛出异常?
客户端出现异常:
Invalid arguments:Unexpected end of file from server
服务器端出现异常:
javax.net.ssl.SSLException:Unrecognized SSL message, plaintext connection?
回答
当用户在distcp命令中使用webhdfs://时,会抛出上述异常,是由于集群所使用的HTTP政策为HTTPS,即配置在“core-site.xml”的“dfs.http.policy”值为“HTTPS_ONLY”。所以要避免出现此异常,应使用swebhdfs://替代webhdfs://。
例如:
./hadoop distcp swebhdfs://IP:PORT/testfile hdfs://IP:PORT/testfile1
父主题: HDFS常见问题