更新时间:2023-03-17 GMT+08:00

distcp命令在安全集群上失败并抛出异常

问题

为何distcp命令在安全集群上失败并抛出异常?

客户端出现异常:

Invalid arguments:Unexpected end of file from server

服务器端出现异常:

javax.net.ssl.SSLException:Unrecognized SSL message, plaintext connection?

回答

当用户在distcp命令中使用webhdfs://时,会抛出上述异常,是由于集群所使用的HTTP政策为HTTPS,即配置在“core-site.xml”“dfs.http.policy”值为“HTTPS_ONLY”。所以要避免出现此异常,应使用swebhdfs://替代webhdfs://

例如:

./hadoop distcp swebhdfs://IP:PORT/testfile hdfs://IP:PORT/testfile1