更新时间:2023-11-03 GMT+08:00
分享

MRS存算分离简介

MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下,用户将数据存储在OBS服务中,使用MRS集群仅作数据计算处理的存算分离模式,从而实现按需灵活扩展资源、低成本的海量数据分析方案。

大数据存算分离场景,请务必使用OBS并行文件系统(并行文件系统),使用普通对象桶会对集群性能产生较大影响。

存算分离功能使用流程:

  1. 配置存算分离集群。
    请选择如下其中一种配置即可(推荐使用委托方式)。
    • 通过为MRS集群绑定ECS委托方式访问OBS,避免了AK/SK直接暴露在配置文件中的风险,具体请参考配置存算分离集群(委托方式)
    • 在MRS集群中配置AK/SK,AK/SK会明文暴露在配置文件中,请谨慎使用,具体请参考配置存算分离集群(AKSK方式)
    • MRS通过集群内的Guardian组件对接OBS,为其他组件提供获取访问OBS的临时认证凭据、细粒度权限控制的能力,具体请参考配置Guardian服务对接OBS
      • 目前仅MRS 3.3.0-LTS及之后的版本支持基于Guardian组件对接OBS,其他版本集群请参考MRS集群组件对接OBS(基于委托)相关章节进行配置。
      • 基于Guardian存算分离管理面作业提交依赖JobGateway模式,不支持Executor模式。
  2. 使用存算分离集群。

    在具备OBS资源的访问权限后,MRS集群内相关组件可通过客户端访问对应文件资源。

    各组件访问OBS配置说明可参考如下内容:

分享:

    相关文档

    相关产品