配置MRS集群通过IAM委托对接OBS
MRS支持用户将数据存储在OBS服务中,使用MRS集群仅作数据计算处理的存算模式。MRS通过IAM服务的“委托”机制进行简单配置, 实现使用ECS自动获取的临时AK/SK访问OBS。避免了AK/SK直接暴露在配置文件中的风险。
通过绑定委托,ECS或BMS云服务将有权限来管理您的部分资源,请根据实际业务场景需求确认是否需要配置委托。集群的Hadoop、Hive、Spark、Presto、Flink组件支持该功能。通过IAM委托对接OBS主要操作如下:
创建具有访问OBS权限的ECS委托
- MRS在IAM的委托列表中预置了MRS_ECS_DEFAULT_AGENCY委托,可在集群创建过程中选择该委托,该委托拥有对象存储服务的OBS OperateAccess权限和在集群所在区域拥有CES FullAccess(对开启细粒度策略的用户)、CES Administrator和KMS Administrator权限。同时请勿在IAM修改MRS_ECS_DEFAULT_AGENCY委托。
- 如需使用预置的委托,请跳过创建委托步骤。如需使用自定义委托,请参考如下步骤进行创建委托(创建或修改委托需要用户具有Security Administrator权限)。如果还需对OBS文件系统中的指定路径进行更加细粒度的权限控制,可参考配置MRS集群用户的OBS的细粒度访问权限创建自定义的角色策略。
- 登录华为云管理控制台。
- 在服务列表中选择“管理与监管 > 统一身份认证服务 IAM”。
- 选择“委托 > 创建委托”。
- 设置“委托名称”,例如:mrs_ecs_obs。
- “委托类型”选择“云服务”,在“云服务”中选择“弹性云服务器ECS 裸金属服务器BMS”,授权ECS或BMS调用OBS服务,如图1所示。
- “持续时间”选择“永久”并单击“完成”。
- 在授权的确认弹窗中,单击“立即授权”,在弹出授权页面的搜索框内,搜索“OBS OperateAccess”策略,勾选“OBS OperateAccess”策略如图2所示。
如果OBS桶配置了KMS加密,同时需要勾选“KMS Administrator”策略。
- 单击“下一步”,选择权限范围方案,默认选择“所有资源”,单击“展开其他方案”,选择“全局服务资源”,单击“确定”。
- 在弹出的提示框中单击“知道了”,开始授权。界面提示“授权成功。”,单击“完成”,委托成功创建。
创建存算分离集群
配置存算分离支持在新建集群中配置委托实现,也可以通过为已有集群绑定委托实现。本示例以开启Kerberos认证的集群为例介绍。
新创建存算分离集群:
- 进入购买MRS集群页面。
- 单击“购买集群”,进入“购买集群”页面。
- 在购买集群页面,选择“自定义购买”页签。
- 在“自定义购买”页签,配置以下参数。
- 基础配置:
- 计费模式:选择“按需计费”。
- 区域:请根据需要选择区域。
- 集群配置:
- 集群名称:可以设置为系统默认名称,但为了区分和记忆,建议带上项目拼音缩写或者日期等。
- 集群类型:选择“自定义”。
- 版本类型:选择“LTS版”或“普通版”。
- 集群版本:请根据实际需求选择集群版本,例如:MRS 3.2.0-LTS.1。
- 组件选择:请根据业务需求合理选择需要的组件,部分类型集群创建后不支持添加服务。
- 元数据:选择“本地元数据”。
- 网络配置:
- 可用区:默认即可。
- 虚拟私有云:默认即可。
- 子网:默认即可。
- 安全组:默认即可。
- 弹性公网IP:默认即可。
- 节点配置:
- CPU架构:默认即可。MRS 3.1.0及MRS 3.1.5版本无该参数。
- 常用模板:当“集群类型”选择“自定义”时该参数有效,保持默认即可。
- 集群节点:请根据自身需求选择节点规格和数量。
- 登录凭证:
- Kerberos认证:请根据自身需要选择,如果创建的集群中包含Presto组件,则不支持开启Kerberos认证。
- 用户名:默认为“admin”,用于登录集群管理页面。
- 密码/确认密码:设置admin用户密码,该密码请妥善保管。
- 登录方式:选择登录ECS节点的登录方式,本例选择“密码”方式。
- 用户名:默认为“root”,用于远程登录ECS机器。
- 密码/确认密码:设置root用户密码。
- 高级配置:开启高级配置,并设置“委托”:
- 单击“现有委托”,在下拉框中选择创建具有访问OBS权限的ECS委托创建的委托。
- 直接选择MRS在IAM服务中预置的委托“MRS_ECS_DEFAULT_AGENCY”。
- 企业项目:默认即可。
- 通信安全授权:勾选通信安全授权,详细介绍请参见配置MRS集群安全通信授权。
- 基础配置:
- 单击“立即购买”。等待集群创建成功。
当集群开启Kerberos认证时,需要确认是否需要开启Kerberos认证,若确认开启请单击“继续”,若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。
为已有集群配置存算分离功能:
- 登录MRS控制台,在导航栏选择“现有集群”。
- 单击集群名称,进入集群详情页面。
- 在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步。
- 在集群详情页的“概览”页签,单击委托右侧的“管理委托”选择需要绑定的委托并单击“确定”进行绑定,或单击“新建委托”进入IAM控制台进行创建后再在此处进行绑定。
图3 绑定委托
配置生命周期规则
在MRS 3.2.0-LTS.1及后续版本中,MRS集群内组件默认支持数据防误删策略,即组件用户删除的文件数据并不会直接被删除,而是会保存到OBS文件系统内的用户回收站目录中。
为节省OBS使用空间,需参考配置MRS集群组件回收站目录清理策略配置定时自动清理OBS回收站目录中的文件数据。