更新时间:2024-05-28 GMT+08:00

HDFS

HDFS jar包冲突列表

Jar包名称

描述

处理方案

hadoop-plugins-*.jar

HDFS可以直接使用开源同版本的hadoop包运行样例代码,但是MRS 3.x之后的版本默认的主备倒换类是dfs.client.failover.proxy.provider.hacluster=org.apache.hadoop.hdfs.server.namenode.ha.AdaptiveFailoverProxyProvider,默认HDFS的LZC压缩格式类为io.compression.codec.lzc.class=com.huawei.hadoop.datasight.io.compress.lzc.ZCodec。

  • 方式一:参考样例代码里面的pom.xml文件,增加配置:
    <properties>
        <hadoop.ext.version>8.0.2-302002</hadoop.ext.version>
    </properties>
    ...
    <dependency>
        <groupId>com.huawei.mrs</groupId>
        <artifactId>hadoop-plugins</artifactId>
        <version>${hadoop.ext.version}</version>
    </dependency>
  • 方式二:
    1. 将“hdfs-site.xml”配置文件里面的参数dfs.client.failover.proxy.provider.hacluster改为与开源一致的值“org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider”。
    2. 不使用LZC压缩格式。