集群外节点访问MRS HDFS报错

问题背景与现象

集群外节点访问MRS HDFS的时候报错：Class org.apache.hadoop.hdfs.server.namenode.ha.AdaptiveFailoverProxyProvider not found。

原因分析

出现这个报错可能的场景有：

• 开源HDFS客户端访问MRS集群的HDFS时报错。
• 使用jar包连接MRS集群的HDFS（包括提交任务时连接HDFS）时报错。

解决办法

方法一：

1. 找到命令或者jar包使用的HDFS配置文件hdfs-site.xml。
2. 修改“dfs.client.failover.proxy.provider.hacluster”参数配置项如下。

   <property>
   <name>dfs.client.failover.proxy.provider.hacluster</name>
   <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
   </property>

   

   也可以将上述配置项删除。

3. 保存文件后，重新访问MRS HDFS。

方法二：

1. 从Maven库下载MRS集群版本对应的hadoop-plugins版本。

   下载路径：https://repo.huaweicloud.com/repository/maven/huaweicloudsdk/com/huawei/mrs/hadoop-plugins/

2. 将下载的jar包添加到命令或者jar包的依赖中。