更新时间:2023-11-23 GMT+08:00

集群外客户端访问OBS

场景介绍

在OBS存算分离场景下,用户可以通过委托方式获取访问OBS的临时aksk,继而访问OBS服务端。对于集群外节点的客户端,如果想要访问OBS,可以通过Guardian组件获取aksk实现。Guardian组件是MRS的自研组件,可以帮助集群外的客户端访问OBS的临时aksk。

仅MRS 3.1.5版本集群支持该功能。

如何通过Guardian实现集群外客户端访问OBS

  1. 确认集群已经安装Guardian组件。

    • 新建集群时选择Guardian组件。
      图1 新建集群时选择Guardian
    • 集群创建完后,通过添加组件的方式,添加Guardian组件。
      1. 在集群详情页,选择“组件管理 > 添加服务”。
      2. 在服务列表中,勾选需要添加的服务,单击“下一步”。
        图2 添加Guardian服务
      3. 在“拓扑调整”页面勾选服务部署的节点(Guardian建议部署在master节点上)。
      4. 单击“确认”。服务添加完成后,在“组件管理”页面可以查看所添加的服务。

        在Console上添加服务会自动同步到Manager页面。

  2. 确认集群已完成存算分离的配置,即完成 “配置存算分离集群(委托方式)”或“配置MRS多用户访问OBS细粒度权限”。
  3. 安装/更新客户端。

  4. 安装成功后,即可访问OBS:

    例如:

    如果客户端目录为/opt/client,执行source /opt/client/bigdata_env,请以实际客户端安装路径为准。

    执行hdfs dfs -ls obs

    如下表示成功。

    图3 访问OBS