更新时间:2024-06-28 GMT+08:00
分享

配置底层存储系统

用户想要通过统一的客户端API和全局命名空间访问包括HDFS和OBS在内的持久化存储系统,从而实现了对计算和存储的分离时,可以在MRS Manager页面中配置Alluxio的底层存储系统来实现。集群创建后,默认的底层存储地址是hdfs://hacluster/,即将HDFS的根目录映射到Alluxio。

前提条件

  • 已安装Alluxio服务的集群。
  • 获取用户“admin”账号密码。“admin”密码在创建MRS集群时由用户指定。

配置HDFS作为Alluxio的底层文件系统

开启Kerberos认证的安全集群不支持该功能。

  1. 请参考修改集群服务配置参数,进入Alluxio的“全部配置”页面。
  2. 在左侧边栏中选择“Alluxio > 底层存储系统”,修改参数“alluxio.master.mount.table.root.ufs”的值为“hdfs://hacluster/XXX/”。

    例如:若想将“HDFS根目录/alluxio/”作为alluxio的根目录,则修改参数“alluxio.master.mount.table.root.ufs”的值为“hdfs://hacluster/alluxio/”。

    图1 HDFS作为Alluxio的底层文件系统

  3. 单击“保存配置”,并在弹出窗口中勾选“重新启动受影响的服务和实例。”
  4. 单击“确定”重启Alluxio服务。

配置Huawei OBS作为Alluxio的底层文件系统

方法一:

  1. 给集群配置有OBS OperateAccess权限的委托,具体请参见配置存算分离集群(委托方式)
  2. 请参考修改集群服务配置参数,进入Alluxio的“全部配置”页面。
  3. 在左侧边栏中选择“Alluxio > 底层存储系统”,修改参数“alluxio.master.mount.table.root.ufs”的值为“obs://<OBS_BUCKET>/<OBS_DIRECTORY>/”。OBS_BUCKET为一个已有的OBS文件系统名,OBS_DIRECTORY为该文件系统下的目录。

    图2 OBS作为Alluxio的底层文件系统

  4. 单击“保存配置”,并在弹出窗口中勾选“重新启动受影响的服务和实例。”
  5. 单击“确定”重启Alluxio服务。

方法二:

  1. 给集群配置有OBS OperateAccess权限的委托,具体请参见配置存算分离集群(委托方式)
  2. 登录主Master节点,主节点请参考如何确认MRS Manager的主备管理节点
  3. 执行如下命令,配置环境变量。

    source /opt/client/bigdata_env

    /opt/client为举例当前集群客户端的安装目录,请根据实际情况修改。

  4. 执行如下命令将OBS容器内部的目录挂载到Alluxio的/obs目录。

    alluxio fs mount /obs obs://<OBS_BUCKET>/<OBS_DIRECTORY>/

相关文档