配置MRS集群通过IAM委托对接OBS
MRS支持用户将数据存储在OBS服务中,使用MRS集群仅作数据计算处理的存算分离模式。MRS通过IAM服务的“委托”机制进行简单配置, 实现使用ECS自动获取的临时AK/SK访问OBS。避免了永久AK/SK直接暴露在配置文件中的风险。
通过绑定委托,ECS或BMS云服务将有权限来管理您的部分资源,请根据实际业务场景需求确认是否需要配置委托。集群的Hadoop、Hive、Spark、Presto、Sqoop、Flink、Flume组件支持该功能。通过IAM委托对接OBS主要操作如下:
创建具有访问OBS权限的ECS委托

- MRS在IAM的委托列表中预置了MRS_ECS_DEFAULT_AGENCY委托,可在集群创建过程中选择该委托,该委托拥有对象存储服务的OBS OperateAccess权限和在集群所在区域拥有CES FullAccess(对开启细粒度策略的用户)、CES Administrator和KMS Administrator权限。同时请勿在IAM修改MRS_ECS_DEFAULT_AGENCY委托。
- 如需使用预置的委托,请跳过创建委托步骤。如需使用自定义委托,请参考如下步骤进行创建委托(创建或修改委托需要用户具有Security Administrator权限)。如果还需对OBS文件系统中的指定路径进行更加细粒度的权限控制,可参考配置MRS集群用户的OBS的细粒度访问权限创建自定义的角色策略。
- 登录华为云管理控制台。
- 在服务列表中选择“管理与监管 > 统一身份认证服务 IAM”。
- 选择“委托 > 创建委托”。
- 设置“委托名称”,例如:mrs_ecs_obs。
- “委托类型”选择“云服务”,在“云服务”中选择“弹性云服务器ECS 裸金属服务器BMS”,授权ECS或BMS调用OBS服务,如图1所示。
- “持续时间”选择“永久”并单击“完成”。
- 在授权的确认弹窗中,单击“立即授权”,在弹出授权页面的搜索框内,搜索“OBS OperateAccess”策略,勾选“OBS OperateAccess”策略如图2所示。
如果OBS桶配置了KMS加密,同时需要勾选“KMS Administrator”策略。
- 单击“下一步”,选择权限范围方案,默认选择“所有资源”,单击“展开其他方案”,选择“全局服务资源”,单击“确定”。
- 在弹出的提示框中单击“知道了”,开始授权。界面提示“授权成功。”,单击“完成”,委托成功创建。
创建存算分离集群
配置存算分离功能支持在新建集群中配置委托实现,也可以通过为已有集群绑定委托实现。本示例以开启Kerberos认证的集群为例介绍。
新创建存算分离集群:
- 进入购买MRS集群页面。
- 单击“购买集群”,进入“购买集群”页面。
- 在购买集群页面,选择“自定义购买”页签。
- 在“自定义购买”页签,根据实际业务规划情况填写集群配置信息(本示例为自定义创建按需计费的MRS 3.2.0-LTS.1版本集群,如需了解更多参数配置请参考自定义购买MRS集群)。
表1 MRS自定义集群配置参数 参数
描述
示例
计费模式
集群的计费模式,MRS提供“包年/包月”与“按需计费”两种计费模式。
选择“按需计费”时,可能需要冻结一定的保证金,具体内容请参见计费说明。
按需计费
区域
待创建资源所在的区域信息,不同区域的资源之间内网不互通,请选择靠近您的区域,可以降低网络延时、提高访问速度。
-
集群名称
MRS集群名称,可以设置为系统默认名称,但为了区分和记忆,建议带上项目拼音缩写或者日期信息等。
集群创建成功后,您也可以在集群列表中手动修改集群名称。
mrs-test
集群类型
根据业务需要选择合适的MRS集群类型。
- 分析集群:用于离线数据分析场景,对海量数据进分析处理,形成结果数据,主要包含Hadoop、Spark、HBase、Hive、Flink、Oozie、Tez等数据分析类组件。
- 流式集群:用于流式数据处理任务,对实时数据源进行快速分析,主要包含Kafka、Flume等流式数据处理组件。
- 混合集群:既可以用来做离线数据分析,也可以用来做流处理任务的集群。
- 自定义:提供丰富的组件搭配,可自行选择对应版本MRS集群所支持的所有组件。
自定义
版本类型
MRS提供了LTS版与普通版两种类型的集群,不同版本提供的组件有所不同,可根据需要选择版本类型。
- LTS版:集群提供更强的高可靠和容灾能力,融入了MRS服务自研组件,提供长期的支持和演进。
- 普通版:主要依托开源组件的能力,融入了MRS服务自研、成熟稳定的特性和功能,带来性能及稳定性的提升。
LTS版
集群版本
MRS集群的版本,不同版本所包含的开源组件版本及功能特性可能不同,推荐选择最新版本。各集群版本的生命周期信息可参考MRS集群版本生命周期。
版本详细包含的大数据组件信息可参考MRS组件版本一览表。
MRS 3.2.0-LTS.1
组件选择
基于系统预置的集群模板选择要购买的集群组件。
支持通过IAM委托对接OBS的组件包括Hadoop、Hive、Spark、Presto、Sqoop、Flink、Flume,请根据实际需求选择。
说明:Hadoop组件包含HDFS、Yarn、Mapreduce服务。DBService、KrbServer及LdapServer等集群内部使用的组件,在创建集群时的组件列表中不呈现。
Hadoop、Hive
元数据
是否使用外部数据源存储集群的Hive、Ranger元数据。
- 本地元数据: 元数据存储在集群本地。
- 外置数据连接:使用外部数据源元数据,若集群异常或删除时将不影响元数据,适用于存储计算分离的场景。
本地元数据
可用区
当前区域内,待创建资源所归属的可用区,可用区是在同一区域下,电力、网络隔离的物理区域。
当您为IES购买MRS时,请选择可用区为“边缘可用区”。
可用区1
虚拟私有云
MRS集群节点所归属的虚拟私有云网络,如果没有可用的虚拟私有云,请单击“查看虚拟私有云”进入网络控制台,创建一个新的虚拟私有云。
关于虚拟私有云更多介绍请参考什么是虚拟私有云。
-
子网
虚拟私有云网络内的子网信息,如果没有可用的子网,请单击“查看子网”进入网络控制台,创建一个新的子网。
关于子网更多介绍请参考子网。
-
安全组
安全组是一组对弹性云服务器的访问规则的集合,为同一个VPC内具有相同安全保护需求并相互信任的弹性云服务器提供访问策略。
创建MRS集群时,系统默认自动创建一个安全组,也可选择下拉框中已有的安全组。
自动创建
CPU架构
MRS集群节点的CPU架构类型,可选择“x86计算”或者“鲲鹏计算”。MRS 3.1.0及MRS 3.1.5版本无该参数。
x86计算
常用模板
当“集群类型”选择“自定义”时该参数有效,常用模板包含“管控合设”、“数据分设”和“管控分设”,具体详情请参考MRS集群部署类型说明选择。
管控合设
集群节点
MRS集群内节点的规格信息及数量配置。
MRS 3.x及之后版本集群Master节点规格不能小于64GB。
根据自身需要选择集群节点规格数量。
Kerberos认证
MRS集群中各组件是否启用Kerberos认证。Kerberos认证开启时,用户需要通过认证后才可以访问组件对应资源。
购买集群后,不支持修改。
开启Kerberos认证
用户名
MRS集群Manager及节点的默认登录用户,admin用户用于登录集群的Manager管理界面,root用户为集群内节点的操作系统管理用户,用于节点登录。
-
密码/确认密码
配置Manager管理员admin用户的密码,该密码请妥善保管。
- 密码长度应在8~26个字符之间
- 必须包含如下4种字符的组合
- 至少一个小写字母
- 至少一个大写字母
- 至少一个数字
- 至少一个特殊字符:`~!@#$%^&*()-_=+|[{}];:',<.>/?
- 不能和用户名或倒序的用户名相同
-
登录方式
MRS集群内节点的登录方式。
密码
高级配置
开启高级配置,并设置“委托”,通过绑定委托,ECS或BMS云服务将有权限来管理集群的部分资源:- 单击“现有委托”,在下拉框中选择创建具有访问OBS权限的ECS委托创建的委托。
- 直接选择MRS在IAM服务中预置的委托“MRS_ECS_DEFAULT_AGENCY”。
MRS_ECS_DEFAULT_AGENCY
企业项目
企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理,您可以选择系统定义的企业项目default或者创建自己的企业项目。
default
通信安全授权
MRS管理控制台需要直接访问部署在用户VPC内的大数据组件时需要开通相应的安全组规则,详情说明请参考配置MRS集群安全通信授权。
勾选授权
- 单击“立即购买”。等待集群创建成功。
为已有集群配置存算分离功能:
- 登录MRS控制台,在导航栏选择“现有集群”。
- 单击集群名称,进入集群详情页面。
- 在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步。
- 在集群详情页的“概览”页签,单击委托右侧的“管理委托”选择需要绑定的委托并单击“确定”进行绑定,或单击“创建委托”进入IAM控制台进行创建后再在此处进行绑定。
配置生命周期规则
在MRS 3.2.0-LTS.1及后续版本中,MRS集群内组件默认支持数据防误删策略,即组件用户删除的文件数据并不会直接被删除,而是会保存到OBS文件系统内的用户回收站目录中。
为节省OBS使用空间,需参考配置MRS集群组件回收站目录清理策略配置定时自动清理OBS回收站目录中的文件数据。