文档首页> MapReduce服务 MRS> 用户指南> 配置存算分离> 基于委托机制对接OBS> MRS集群组件对接OBS（基于委托）> HDFS客户端对接OBS文件系统
更新时间：2023-11-21 GMT+08:00
查看PDF
分享

HDFS客户端对接OBS文件系统

使用本章节前已参考配置存算分离集群（委托方式）或配置存算分离集群（AKSK方式）完成存算分离集群配置。

  1. 以客户端安装用户登录安装了HDFS客户端的节点。
  2. 执行以下命令，切换到客户端安装目录。

    cd 客户端安装目录

  3. 执行以下命令配置环境变量。

    source bigdata_env

  4. 如果集群为安全模式，执行以下命令进行用户认证。普通模式集群无需执行用户认证。

    kinit 组件业务用户

  5. 在hdfs命令行显式添加要访问的OBS文件系统。

    例如：

    • 使用以下命令访问OBS文件系统。

      hdfs dfs -ls obs://OBS并行文件系统名称/路径

    • 使用以下命令上传客户端节点“/opt/test.txt”文件到OBS文件系统路径下。

      hdfs dfs -put /opt/test.txt obs://OBS并行文件系统名称/路径

OBS文件系统打印大量日志可能导致读写性能受影响，可通过调整OBS客户端日志级别优化，日志调整方式如下：

cd 客户端安装目录/HDFS/hadoop/etc/hadoop

vi log4j.properties

在文件中添加OBS日志级别配置：

log4j.logger.org.apache.hadoop.fs.obs=WARN

log4j.logger.com.obs=WARN
图1 添加OBS日志级别
分享：

    相关文档

    相关产品