配置HDFS通过IAM委托访问OBS

HDFS对接OBS

1. 以客户端安装用户登录安装了HDFS客户端的节点。

   下载并安装集群客户端的具体操作，请参考安装MRS集群客户端。

2. 执行以下命令，切换到客户端安装目录。

   cd 客户端安装目录

3. 执行以下命令配置环境变量。

   source bigdata_env

4. 如果集群启用了Kerberos认证，执行以下命令进行用户认证。未启用Kerberos认证的集群无需执行用户认证。

   kinit 组件业务用户

5. 在HDFS命令行显式添加要访问的OBS文件系统。

   例如：

   • 使用以下命令访问OBS文件系统。

     hdfs dfs -ls obs://OBS并行文件系统名称/路径

     例如，执行以下命令访问“mrs-word001”并行文件系统，返回文件列表即表示访问OBS成功，如图1所示：

     hadoop fs -ls obs://mrs-word001/

     图1 Hadoop验证返回文件列表
     
   • 使用以下命令上传客户端节点“/opt/test.txt”文件到OBS文件系统路径下。

     hdfs dfs -put /opt/test.txt obs://OBS并行文件系统名称/路径

     上传成功后，可到对应的OBS文件系统路径下查看。

修改OBS客户端日志级别

OBS文件系统打印大量日志可能导致读写性能受影响，可通过调整OBS客户端日志级别优化，日志调整方式如下：

1. 切换至“hadoop”目录下：

   cd 客户端安装目录/HDFS/hadoop/etc/hadoop

2. 编辑“log4j.properties”文件：

   vi  log4j.properties

   在文件中添加以下OBS日志级别配置，并保存：

   log4j.logger.org.apache.hadoop.fs.obs=WARN
   log4j.logger.com.obs=WARN

3. 可执行以下命令查看：

   tail -4 log4j.properties

   查看到的结果如图2所示，表示修改日志级别成功。

   图2 查看日志级别