配置底层存储系统
用户想要通过统一的客户端API和全局命名空间访问包括HDFS和OBS在内的持久化存储系统,从而实现了对计算和存储的分离时,可以在MRS Manager页面中配置Alluxio的底层存储系统来实现。集群创建后,默认的底层存储地址是hdfs://hacluster/,即将HDFS的根目录映射到Alluxio。
前提条件
- 已安装Alluxio服务的集群。
- 获取用户“admin”账号密码。“admin”密码在创建MRS集群时由用户指定。
配置HDFS作为Alluxio的底层文件系统
开启Kerberos认证的安全集群不支持该功能。
- 请参考修改集群服务配置参数,进入Alluxio的“全部配置”页面。
- 在左侧边栏中选择“Alluxio > 底层存储系统”,修改参数“alluxio.master.mount.table.root.ufs”的值为“hdfs://hacluster/XXX/”。
例如:若想将“HDFS根目录/alluxio/”作为alluxio的根目录,则修改参数“alluxio.master.mount.table.root.ufs”的值为“hdfs://hacluster/alluxio/”。
图1 HDFS作为Alluxio的底层文件系统
- 单击“保存配置”,并在弹出窗口中勾选“重新启动受影响的服务和实例。”
- 单击“确定”重启Alluxio服务。
配置Huawei OBS作为Alluxio的底层文件系统
方法一:
- 给集群配置有OBS OperateAccess权限的委托,具体请参见配置存算分离集群(委托方式)。
- 请参考修改集群服务配置参数,进入Alluxio的“全部配置”页面。
- 在左侧边栏中选择“Alluxio > 底层存储系统”,修改参数“alluxio.master.mount.table.root.ufs”的值为“obs://<OBS_BUCKET>/<OBS_DIRECTORY>/”。OBS_BUCKET为一个已有的OBS文件系统名,OBS_DIRECTORY为该文件系统下的目录。
图2 OBS作为Alluxio的底层文件系统
- 单击“保存配置”,并在弹出窗口中勾选“重新启动受影响的服务和实例。”
- 单击“确定”重启Alluxio服务。
方法二:
- 给集群配置有OBS OperateAccess权限的委托,具体请参见配置存算分离集群(委托方式)。
- 登录主Master节点,主节点请参考如何确认MRS Manager的主备管理节点。
- 执行如下命令,配置环境变量。
source /opt/client/bigdata_env
/opt/client为举例当前集群客户端的安装目录,请根据实际情况修改。
- 执行如下命令将OBS容器内部的目录挂载到Alluxio的/obs目录。
alluxio fs mount /obs obs://<OBS_BUCKET>/<OBS_DIRECTORY>/