更新时间:2024-09-04 GMT+08:00

安装在集群外的MRS客户端如何访问OBS

操作场景

在OBS存算分离场景下,用户可以通过委托方式获取访问OBS的临时AK、SK,继而访问OBS服务端。对于集群外节点的客户端,如果想要访问OBS,可以通过Guardian组件获取AK、SK实现。Guardian组件是MRS的自研组件,可以帮助集群外的客户端访问OBS的临时AK、SK。

仅MRS 3.1.5版本集群支持该功能。

如何通过Guardian实现集群外客户端访问OBS

  1. 确认集群已经安装Guardian组件。

    • 新建集群时选择Guardian组件。
      图1 新建集群时选择Guardian
    • 集群创建完后,通过添加组件的方式,添加Guardian组件。
      1. 在集群详情页,选择“组件管理 > 添加服务”。
      2. 在服务列表中,勾选需要添加的服务,单击“下一步”。
        图2 添加Guardian服务
      3. 在“拓扑调整”页面勾选服务部署的节点(Guardian建议部署在master节点上)。
      4. 单击“确认”。服务添加完成后,在“组件管理”页面可以查看所添加的服务。

        在Console上添加服务会自动同步到Manager页面。

  2. 确认集群已完成存算分离的配置,即完成 “配置存算分离集群(委托方式)”或“配置MRS多用户访问OBS细粒度权限”。
  3. 安装/更新客户端。

  4. 安装成功后,即可访问OBS。例如,在未开启Kerberos认证的MRS集群的HDFS客户端访问OBS:

    1. 以客户端安装用户登录安装客户端的节点。
    2. 切换到客户端安装目录并配置环境变量:

      cd 客户端安装目录

      source bigdata_env

    3. 在HDFS客户端执行以下命令访问OBS:

      hdfs dfs -ls obs://OBS并行文件系统目录

      如下表示对接成功: