文档首页/ MapReduce服务 MRS/ 开发指南（普通版_3.x）/ MRS应用开发开源jar包冲突列表说明/ HDFS
更新时间：2024-05-27 GMT+08:00
查看PDF
分享

HDFS

HDFS jar包冲突列表

Jar包名称

描述

处理方案

hadoop-plugins-*.jar

HDFS可以直接使用开源同版本的hadoop包运行样例代码，但是MRS 3.x之后的版本默认的主备倒换类是dfs.client.failover.proxy.provider.hacluster=org.apache.hadoop.hdfs.server.namenode.ha.AdaptiveFailoverProxyProvider，默认HDFS的LZC压缩格式类为io.compression.codec.lzc.class=com.huawei.hadoop.datasight.io.compress.lzc.ZCodec。
  • 方式一：参考样例代码里面的pom.xml文件，增加配置： 
    <properties>
    <hadoop.ext.version>8.0.2-302002</hadoop.ext.version>
</properties>
...
<dependency>
    <groupId>com.huawei.mrs</groupId>
    <artifactId>hadoop-plugins</artifactId>
    <version>${hadoop.ext.version}</version>
</dependency>
  • 方式二：
    1. 将“hdfs-site.xml”配置文件里面的参数dfs.client.failover.proxy.provider.hacluster改为与开源一致的值“org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider”。
    2. 不使用LZC压缩格式。

相关文档