配置MRS集群通过IAM委托对接OBS

创建具有访问OBS权限的ECS委托

• MRS在IAM的委托列表中预置了MRS_ECS_DEFAULT_AGENCY委托，可在集群创建过程中选择该委托，该委托拥有对象存储服务的OBS OperateAccess权限和在集群所在区域拥有CES FullAccess（对开启细粒度策略的用户）、CES Administrator和KMS Administrator权限。同时请勿在IAM修改MRS_ECS_DEFAULT_AGENCY委托。
• 如需使用预置的委托，请跳过创建委托步骤。如需使用自定义委托，请参考如下步骤进行创建委托（创建或修改委托需要用户具有Security Administrator权限）。如果还需对OBS文件系统中的指定路径进行更加细粒度的权限控制，可参考配置MRS集群用户的OBS的细粒度访问权限创建自定义的角色策略。

1. 登录华为云管理控制台。
2. 在服务列表中选择“管理与监管 > 统一身份认证服务 IAM”。
3. 选择“委托 > 创建委托”。
4. 设置“委托名称”，例如：mrs_ecs_obs。
5. “委托类型”选择“云服务”，在“云服务”中选择“弹性云服务器ECS 裸金属服务器BMS”，授权ECS或BMS调用OBS服务，如图1所示。
6. “持续时间”选择“永久”并单击“完成”。
   图1 创建委托
   
7. 在授权的确认弹窗中，单击“立即授权”，在弹出授权页面的搜索框内，搜索“OBS OperateAccess”策略，勾选“OBS OperateAccess”策略如图2所示。
   

   如果OBS桶配置了KMS加密，同时需要勾选“KMS Administrator”策略。

   图2 配置权限
   
8. 单击“下一步”，选择权限范围方案，默认选择“所有资源”，单击“展开其他方案”，选择“全局服务资源”，单击“确定”。
9. 在弹出的提示框中单击“知道了”，开始授权。界面提示“授权成功。”，单击“完成”，委托成功创建。

创建存算分离集群

配置存算分离支持在新建集群中配置委托实现，也可以通过为已有集群绑定委托实现。本示例以开启Kerberos认证的集群为例介绍。

新创建存算分离集群：

1. 进入购买MRS集群页面。
2. 单击“购买集群”，进入“购买集群”页面。
3. 在购买集群页面，选择“自定义购买”页签。
4. 在“自定义购买”页签，配置以下参数。
   • 基础配置：
     • 计费模式：选择“按需计费”。
     • 区域：请根据需要选择区域。
   • 集群配置：
     • 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。
     • 集群类型：选择“自定义”。
     • 版本类型：选择“LTS版”或“普通版”。
     • 集群版本：请根据实际需求选择集群版本，例如：MRS 3.2.0-LTS.1。
     • 组件选择：请根据业务需求合理选择需要的组件，部分类型集群创建后不支持添加服务。
     • 元数据：选择“本地元数据”。
   • 网络配置：
     • 可用区：默认即可。
     • 虚拟私有云：默认即可。
     • 子网：默认即可。
     • 安全组：默认即可。
     • 弹性公网IP：默认即可。
   • 节点配置：
     • CPU架构：默认即可。MRS 3.1.0及MRS 3.1.5版本无该参数。
     • 常用模板：当“集群类型”选择“自定义”时该参数有效，保持默认即可。
     • 集群节点：请根据自身需求选择节点规格和数量。
   • 登录凭证：
     • Kerberos认证：请根据自身需要选择，如果创建的集群中包含Presto组件，则不支持开启Kerberos认证。
     • 用户名：默认为“admin”，用于登录集群管理页面。
     • 密码/确认密码：设置admin用户密码，该密码请妥善保管。
     • 登录方式：选择登录ECS节点的登录方式，本例选择“密码”方式。
     • 用户名：默认为“root”，用于远程登录ECS机器。
     • 密码/确认密码：设置root用户密码。
   • 高级配置：开启高级配置，并设置“委托”：
     • 单击“现有委托”，在下拉框中选择创建具有访问OBS权限的ECS委托创建的委托。
     • 直接选择MRS在IAM服务中预置的委托“MRS_ECS_DEFAULT_AGENCY”。
   • 企业项目：默认即可。
   • 通信安全授权：勾选通信安全授权，详细介绍请参见配置MRS集群安全通信授权。
5. 单击“立即购买”。等待集群创建成功。

   当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。

为已有集群配置存算分离功能：

1. 登录MRS控制台，在导航栏选择“现有集群”。
2. 单击集群名称，进入集群详情页面。
3. 在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步。
4. 在集群详情页的“概览”页签，单击委托右侧的“管理委托”选择需要绑定的委托并单击“确定”进行绑定，或单击“新建委托”进入IAM控制台进行创建后再在此处进行绑定。
   图3 绑定委托
   

创建OBS文件系统用于存放数据

大数据存算分离场景，请务必使用OBS并行文件系统（并行文件系统），使用普通对象桶会对集群性能产生较大影响。

1. 登录OBS控制台。
2. 选择“并行文件系统 > 创建并行文件系统”。
3. 填写文件系统名称，例如“mrs-word001”。

   其他参数请根据需要填写。

   图4 创建OBS并行文件系统
   
4. 单击“立即创建”。
5. 在OBS控制台并行文件系统列表中，单击文件系统名称进入详情页面。
6. 在左侧导航栏选择“文件”，新建program、input文件夹。
   • program：请上传程序包到该文件夹。
   • input：请上传输入数据到该文件夹。

配置生命周期规则

在MRS 3.2.0-LTS.1及后续版本中，MRS集群内组件默认支持数据防误删策略，即组件用户删除的文件数据并不会直接被删除，而是会保存到OBS文件系统内的用户回收站目录中。

为节省OBS使用空间，需参考配置MRS集群组件回收站目录清理策略配置定时自动清理OBS回收站目录中的文件数据。