配置HDFS通过Guardian访问OBS
参考配置Guardian服务对接OBS完成Guardian对接OBS后,即可在HDFS客户端查看和创建OBS文件目录。
HDFS对接OBS
- 以客户端安装用户登录安装了HDFS客户端的节点。
- 执行以下命令,切换到客户端安装目录。
cd 客户端安装目录
- 执行以下命令配置环境变量。
source bigdata_env
- 如果集群为安全模式,执行以下命令进行用户认证,该用户需具有OBS目录的读写权限。普通模式集群无需执行用户认证。
kinit HDFS组件操作用户
- 在HDFS命令行显式添加要访问的OBS文件系统。
例如:
OBS文件系统打印大量日志可能导致读写性能受影响,可通过调整OBS客户端日志级别优化,日志调整方式如下:
cd 客户端安装目录/HDFS/hadoop/etc/hadoop
vi log4j.properties
在文件中添加OBS日志级别配置
log4j.logger.org.apache.hadoop.fs.obs=WARN
Ranger权限配置
- 登录FusionInsight Manager,选择“系统 > 权限 > 用户组 > 添加用户组”,创建一个空角色的用户组,例如“obs_hadoop”。
- 选择“系统 > 权限 > 用户 > 添加用户”,创建一个只关联用户组“obs_hadoop”的用户,例如“hadoopuser”。
- 使用rangeradmin用户登录Ranger管理页面。
- 在首页中单击“EXTERNAL AUTHORIZATION”区域的组件插件名称“OBS”。
- 单击“Add New Policy”,为新建的用户组添加相应OBS路径的“Read”和“Write”权限。
例如,为用户组“obs_hadoop”添加“obs://OBS并行文件系统名称/hadoop”的“Read”和“Write”权限:
图2 为Hadoop用户组新增OBS路径读和写的权限