更新时间:2025-07-10 GMT+08:00
分享

配置MRS集群通过IAM委托对接OBS

MRS支持用户将数据存储在OBS服务中,使用MRS集群仅作数据计算处理的存算分离模式。MRS通过IAM服务的“委托”机制进行简单配置, 实现使用ECS自动获取的临时AK/SK访问OBS。避免了永久AK/SK直接暴露在配置文件中的风险。

通过绑定委托,ECS或BMS云服务将有权限来管理您的部分资源,请根据实际业务场景需求确认是否需要配置委托。集群的Hadoop、Hive、Spark、Presto、Sqoop、Flink、Flume组件支持该功能。通过IAM委托对接OBS主要操作如下:

  1. 创建具有访问OBS权限的ECS委托
  2. 创建存算分离集群
  3. 创建OBS并行文件系统用于存放业务数据
  4. 配置生命周期规则

创建具有访问OBS权限的ECS委托

  • MRS在IAM的委托列表中预置了MRS_ECS_DEFAULT_AGENCY委托,可在集群创建过程中选择该委托,该委托拥有对象存储服务的OBS OperateAccess权限和在集群所在区域拥有CES FullAccess(对开启细粒度策略的用户)、CES Administrator和KMS Administrator权限。同时请勿在IAM修改MRS_ECS_DEFAULT_AGENCY委托。
  • 如需使用预置的委托,请跳过创建委托步骤。如需使用自定义委托,请参考如下步骤进行创建委托(创建或修改委托需要用户具有Security Administrator权限)。如果还需对OBS文件系统中的指定路径进行更加细粒度的权限控制,可参考配置MRS集群用户的OBS的细粒度访问权限创建自定义的角色策略。
  1. 登录华为云管理控制台。
  2. 在服务列表中选择“管理与监管 > 统一身份认证服务 IAM”。
  3. 选择“委托 > 创建委托”。
  4. 设置“委托名称”,例如:mrs_ecs_obs。
  5. “委托类型”选择“云服务”,在“云服务”中选择“弹性云服务器ECS 裸金属服务器BMS”,授权ECS或BMS调用OBS服务,如图1所示。
  6. “持续时间”选择“永久”并单击“完成”。
    图1 创建委托
  7. 在授权的确认弹窗中,单击“立即授权”,在弹出授权页面的搜索框内,搜索“OBS OperateAccess”策略,勾选“OBS OperateAccess”策略如图2所示。

    如果OBS桶配置了KMS加密,同时需要勾选“KMS Administrator”策略。

    图2 配置权限
  8. 单击“下一步”,选择权限范围方案,默认选择“所有资源”,单击“展开其他方案”,选择“全局服务资源”,单击“确定”。
  9. 在弹出的提示框中单击“知道了”,开始授权。界面提示“授权成功。”,单击“完成”,委托成功创建。

创建存算分离集群

配置存算分离功能支持在新建集群中配置委托实现,也可以通过为已有集群绑定委托实现。本示例以开启Kerberos认证的集群为例介绍。

新创建存算分离集群

  1. 进入购买MRS集群页面
  2. 单击“购买集群”,进入“购买集群”页面。
  3. 在购买集群页面,选择“自定义购买”页签。
  4. 在“自定义购买”页签,根据实际业务规划情况填写集群配置信息(本示例为自定义创建按需计费的MRS 3.2.0-LTS.1版本集群,如需了解更多参数配置请参考自定义购买MRS集群)。
    表1 MRS自定义集群配置参数

    参数

    描述

    示例

    计费模式

    集群的计费模式,MRS提供“包年/包月”与“按需计费”两种计费模式。

    选择“按需计费”时,可能需要冻结一定的保证金,具体内容请参见计费说明

    按需计费

    区域

    待创建资源所在的区域信息,不同区域的资源之间内网不互通,请选择靠近您的区域,可以降低网络延时、提高访问速度。

    -

    集群名称

    MRS集群名称,可以设置为系统默认名称,但为了区分和记忆,建议带上项目拼音缩写或者日期信息等。

    集群创建成功后,您也可以在集群列表中手动修改集群名称。

    mrs-test

    集群类型

    根据业务需要选择合适的MRS集群类型。

    • 分析集群:用于离线数据分析场景,对海量数据进分析处理,形成结果数据,主要包含Hadoop、Spark、HBase、Hive、Flink、Oozie、Tez等数据分析类组件。
    • 流式集群:用于流式数据处理任务,对实时数据源进行快速分析,主要包含Kafka、Flume等流式数据处理组件。
    • 混合集群:既可以用来做离线数据分析,也可以用来做流处理任务的集群。
    • 自定义:提供丰富的组件搭配,可自行选择对应版本MRS集群所支持的所有组件。

    自定义

    版本类型

    MRS提供了LTS版与普通版两种类型的集群,不同版本提供的组件有所不同,可根据需要选择版本类型。

    • LTS版:集群提供更强的高可靠和容灾能力,融入了MRS服务自研组件,提供长期的支持和演进。
    • 普通版:主要依托开源组件的能力,融入了MRS服务自研、成熟稳定的特性和功能,带来性能及稳定性的提升。

    LTS版

    集群版本

    MRS集群的版本,不同版本所包含的开源组件版本及功能特性可能不同,推荐选择最新版本。各集群版本的生命周期信息可参考MRS集群版本生命周期

    版本详细包含的大数据组件信息可参考MRS组件版本一览表

    MRS 3.2.0-LTS.1

    组件选择

    基于系统预置的集群模板选择要购买的集群组件。

    支持通过IAM委托对接OBS的组件包括Hadoop、Hive、Spark、Presto、Sqoop、Flink、Flume,请根据实际需求选择。

    说明:

    Hadoop组件包含HDFS、Yarn、Mapreduce服务。DBService、KrbServer及LdapServer等集群内部使用的组件,在创建集群时的组件列表中不呈现。

    Hadoop、Hive

    元数据

    是否使用外部数据源存储集群的Hive、Ranger元数据。

    • 本地元数据: 元数据存储在集群本地。
    • 外置数据连接:使用外部数据源元数据,若集群异常或删除时将不影响元数据,适用于存储计算分离的场景。

    本地元数据

    可用区

    当前区域内,待创建资源所归属的可用区,可用区是在同一区域下,电力、网络隔离的物理区域

    当您为IES购买MRS时,请选择可用区为“边缘可用区”。

    可用区1

    虚拟私有云

    MRS集群节点所归属的虚拟私有云网络,如果没有可用的虚拟私有云,请单击“查看虚拟私有云”进入网络控制台,创建一个新的虚拟私有云。

    关于虚拟私有云更多介绍请参考什么是虚拟私有云

    -

    子网

    虚拟私有云网络内的子网信息,如果没有可用的子网,请单击“查看子网”进入网络控制台,创建一个新的子网。

    关于子网更多介绍请参考子网

    -

    安全组

    安全组是一组对弹性云服务器的访问规则的集合,为同一个VPC内具有相同安全保护需求并相互信任的弹性云服务器提供访问策略。

    创建MRS集群时,系统默认自动创建一个安全组,也可选择下拉框中已有的安全组。

    自动创建

    CPU架构

    MRS集群节点的CPU架构类型,可选择“x86计算”或者“鲲鹏计算”。MRS 3.1.0及MRS 3.1.5版本无该参数。

    x86计算

    常用模板

    当“集群类型”选择“自定义”时该参数有效,常用模板包含“管控合设”、“数据分设”和“管控分设”,具体详情请参考MRS集群部署类型说明选择。

    管控合设

    集群节点

    MRS集群内节点的规格信息及数量配置。

    MRS 3.x及之后版本集群Master节点规格不能小于64GB。

    根据自身需要选择集群节点规格数量。

    Kerberos认证

    MRS集群中各组件是否启用Kerberos认证。Kerberos认证开启时,用户需要通过认证后才可以访问组件对应资源。

    购买集群后,不支持修改。

    开启Kerberos认证

    用户名

    MRS集群Manager及节点的默认登录用户,admin用户用于登录集群的Manager管理界面,root用户为集群内节点的操作系统管理用户,用于节点登录。

    -

    密码/确认密码

    配置Manager管理员admin用户的密码,该密码请妥善保管。

    • 密码长度应在8~26个字符之间
    • 必须包含如下4种字符的组合
      • 至少一个小写字母
      • 至少一个大写字母
      • 至少一个数字
      • 至少一个特殊字符:`~!@#$%^&*()-_=+|[{}];:',<.>/?
    • 不能和用户名或倒序的用户名相同

    -

    登录方式

    MRS集群内节点的登录方式。

    • 密码

      可使用root用户以密码方式登录节点,需要手动自定义root用户密码。

    • 密钥对

      使用密钥方式登录集群节点,可从下拉框中选择密钥对,如果已获取私钥文件,请勾选“我确认已获取该密钥对中的私钥文件SSHkey-xxx,否则无法登录弹性云服务器”,如果没有创建密钥对,请单击“查看密钥对”创建或导入密钥,然后再获取私钥文件。

    密码

    高级配置

    开启高级配置,并设置“委托”,通过绑定委托,ECS或BMS云服务将有权限来管理集群的部分资源:

    MRS_ECS_DEFAULT_AGENCY

    企业项目

    企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理,您可以选择系统定义的企业项目default或者创建自己的企业项目。

    default

    通信安全授权

    MRS管理控制台需要直接访问部署在用户VPC内的大数据组件时需要开通相应的安全组规则,详情说明请参考配置MRS集群安全通信授权

    勾选授权

  5. 单击“立即购买”。等待集群创建成功。

为已有集群配置存算分离功能

  1. 登录MRS控制台,在导航栏选择“现有集群”。
  2. 单击集群名称,进入集群详情页面。
  3. 在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步。
  4. 在集群详情页的“概览”页签,单击委托右侧的“管理委托”选择需要绑定的委托并单击“确定”进行绑定,或单击“创建委托”进入IAM控制台进行创建后再在此处进行绑定。

创建OBS并行文件系统用于存放业务数据

大数据存算分离场景,请务必使用OBS并行文件系统(并行文件系统),使用普通对象桶会对集群性能产生较大影响。

  1. 登录OBS控制台。
  2. 选择“并行文件系统 > 创建并行文件系统”。
  3. 填写文件系统名称,例如“mrs-word001”。

    其他参数请根据需要填写。

    图3 创建OBS并行文件系统
  4. 单击“立即创建”。
  5. 在OBS控制台并行文件系统列表中,单击文件系统名称进入详情页面。
  6. 在左侧导航栏选择“文件”,新建program、input文件夹。
    • program:请上传程序包到该文件夹。
    • input:请上传输入数据到该文件夹。

配置生命周期规则

在MRS 3.2.0-LTS.1及后续版本中,MRS集群内组件默认支持数据防误删策略,即组件用户删除的文件数据并不会直接被删除,而是会保存到OBS文件系统内的用户回收站目录中。

为节省OBS使用空间,需参考配置MRS集群组件回收站目录清理策略配置定时自动清理OBS回收站目录中的文件数据。

相关文档