Hadoop对接OBS

概述

Hadoop系统提供了分布式存储、计算和资源调度引擎，用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议，在大数据场景中可以替代Hadoop系统中的HDFS服务，实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接，为大数据计算提供“数据湖”存储。

HDFS协议：Hadoop中定义了HDFS协议（通过FileSystem抽象类），其他各类存储系统均可以实现HDFS协议，例如Hadoop中内置的HDFS服务，华为云的对象存储服务OBS。

约束与限制

不支持以下HDFS语义：

• Lease
• Symbolic link operations
• Proxy users
• File concat
• File checksum
• File replication factor
• Extended Attributes(XAttrs) operations
• Snapshot operations
• Storage policy
• Quota
• POSIX ACL
• Delegation token operations

注意事项

为了减少日志输出，在/opt/hadoop-3.1.1/etc/hadoop/log4j.properties文件中增加配置：

log4j.logger.com.obs=ERROR

对接步骤

以Hadoop 3.1.1为例（建议使用最新的版本，不推荐使用低于2.8.3版本的hadoop与hadoop-huaweicloud配套使用）。

1. 下载hadoop-3.1.1.tar.gz，并解压到/opt/hadoop-3.1.1目录。
2. 在/etc/profile文件中增加配置内容：

   export HADOOP_HOME=/opt/hadoop-3.1.1
   export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

3. 安装hadoop-huaweicloud。
   1. 在官方Github下载hadoop-huaweicloud：下载地址。
      

      如果没有匹配版本的jar包，可自行修改hadoop-huaweicloud目录下pom文件中的hadoop版本重新编译生成。

   2. 将hadoop-huaweicloud-x.x.x-hw-y.jar拷贝到/opt/hadoop-3.1.1/share/hadoop/tools/lib和/opt/hadoop-3.1.1/share/hadoop/common/lib目录下。
      

      hadoop-huaweicloud-x.x.x-hw-y.jar包含义：前三位x.x.x为配套hadoop版本号；最后一位y为OBSA版本号，y值最大为最新版本。如：hadoop-huaweicloud-3.1.1-hw-40.jar，3.1.1是配套hadoop版本号，40是OBSA的版本号。

4. 配置hadoop。

   修改 /opt/hadoop-3.1.1/etc/hadoop/core-site.xml，增加OBS相关配置信息：

   1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

   <property> <name>fs.obs.impl</name> <value>org.apache.hadoop.fs.obs.OBSFileSystem</value> </property> <property> <name>fs.AbstractFileSystem.obs.impl</name> <value>org.apache.hadoop.fs.obs.OBS</value> </property> <property> <name>fs.obs.access.key</name> <value>xxx</value> <description>HuaweiCloud Access Key Id</description> </property> <property> <name>fs.obs.secret.key</name> <value>xxx</value> <description>HuaweiCloud Secret Access Key</description> </property> <property> <name>fs.obs.endpoint</name> <value>xxx</value> <description>HuaweiCloud Endpoint</description> </property>

5. 验证是否对接成功。

   您可以通过命令行和MR程序两种方式进行验证。示例如下：

   • 命令行

     hadoop fs -ls obs://obs-bucket/

     回显如下信息：

     -rw-rw-rw- 1 root root 1087 2018-06-11 07:49 obs://obs-bucket/test1
     -rw-rw-rw- 1 root root 1087 2018-06-11 07:49 obs://obs-bucket/test2

   • MR程序

     hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.1.jar wordcount obs://example-bucket/input/test.txt obs://obs-bucket/output

垃圾回收

在大数据应用场景中，您可以使用垃圾回收机制，在误删数据后找回数据。

1. 在相关组件的 core-site.xml 文件中配置如下内容：

<property>

<name>fs.trash.interval</name>

<value>1440</value>

<description>垃圾回收机制开关，设置为大于0 的值即可</description>

</property>

2. 配置 OBS 服务的生命周期策略：垃圾目录中的文件无法自动清除，需通过 OBS 生命周期策略进行定期清除

3. 场景：

（1）hdfs 命令：

hadoop fs -rm obs://obs-bucket/test.txt；

会将 test 目录转移到 obs://obs-bucket/user/${username}/.Trash/Current 垃圾目录下

（2）hive 语句：

drop table obstable；

如果 obstable 是一张内表，会将 obstable 表对应的目录转移到 obs://obs-bucket/user/${username}/.Trash/Current 垃圾目录下

利用垃圾回收达成快速删除

因为 hadoop-obs 的删除操作不是 O (1) 操作，其操作耗时和目录大小成正比例，即随着目录结构的增大其操作耗时将持续增长；如果您的应用场景存在频繁的删除操作，且删除的是超大目录，建议可以开启快速删除特性。相关配置项：

注：

（1）文件桶才支持快速删除特性，普通对象桶不支持，因为快速删除是利用文件桶的 rename 性能优势实现的

（2）快速删除开启后需要配合 OBS 服务的生命周期特性，定期删除 fs.obs.trash.dir 目录中的数据

【附】hadoop-huaweicloud相关配置