更新时间:2022-09-08 GMT+08:00
分享

HDFS

HDFS jar包冲突列表

Jar包名称

描述

处理方案

hadoop-plugins-*.jar

HDFS可以直接使用开源同版本的hadoop包运行样例代码,但是MRS 3.x之后的版本默认的主备倒换类是dfs.client.failover.proxy.provider.hacluster=org.apache.hadoop.hdfs.server.namenode.ha.AdaptiveFailoverProxyProvider

默认HDFS的LZC压缩格式类io.compression.codec.lzc.class=com.huawei.hadoop.datasight.io.compress.lzc.ZCodec

  • 方式一:参考样例代码里面的pom.xml文件,增加配置:
    <properties>
        <hadoop.ext.version>8.0.2-302002</hadoop.ext.version>
    </properties>
    ...
    <dependency>
        <groupId>com.huawei.mrs</groupId>
        <artifactId>hadoop-plugins</artifactId>
        <version>${hadoop.ext.version}</version>
    </dependency>
  • 方式二:
    1. 将hdfs-site.xml配置文件里面的参数dfs.client.failover.proxy.provider.hacluster改为开源一致的值:org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
    2. 不使用LZC压缩格式。
分享:

    相关文档

    相关产品