# 配置MRS集群通过IAM委托对接OBS MRS支持用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算分离模式。MRS通过IAM服务的"委托"机制进行简单配置， 实现使用ECS自动获取的临时AK/SK访问OBS。避免了永久AK/SK直接暴露在配置文件中的风险。 通过绑定委托，ECS或BMS云服务将有权限来管理您的部分资源，请根据实际业务场景需求确认是否需要配置委托。集群的Hadoop、Hive、Spark、Presto、Sqoop、Flink、Flume组件支持该功能。通过IAM委托对接OBS主要操作如下： 1. [创建具有访问OBS权限的ECS委托] 2. [创建存算分离集群] 3. [创建OBS并行文件系统用于存放业务数据] 4. [配置生命周期规则] #### 创建具有访问OBS权限的ECS委托 ![](https://support.huaweicloud.com/usermanual-mrs/public_sys-resources/note_3.0-zh-cn.png) - MRS在IAM的委托列表中预置了**MRS_ECS_DEFAULT_AGENCY** 委托，可在集群创建过程中选择该委托，该委托拥有对象存储服务的OBS OperateAccess权限和在集群所在区域拥有MRS Agency KMSAccess权限。同时请勿在IAM修改**MRS_ECS_DEFAULT_AGENCY**委托。 - 如需使用预置的委托，请跳过创建委托步骤。如需使用自定义委托，请参考如下步骤进行创建委托（创建或修改委托需要用户具有Security Administrator权限）。如果还需对OBS文件系统中的指定路径进行更加细粒度的权限控制，可参考[配置MRS集群用户的OBS的细粒度访问权限](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0632.html)创建自定义的角色策略。 1. 登录[IAM管理控制台](https://console.huaweicloud.com/iam)。 2. 选择"委托 \> 创建委托"。 3. 设置"委托名称"，例如：mrs_ecs_obs。 4. "委托类型"选择"云服务"，在"云服务"中选择"弹性云服务器ECS 裸金属服务器BMS"，授权ECS或BMS调用OBS服务，如[图1]所示。 5. "持续时间"选择"永久"并单击"完成"。 图1创建委托 ![](https://support.huaweicloud.com/usermanual-mrs/zh-cn_image_0000002057396837.png) 6. 在授权的确认弹窗中，单击"立即授权"，在弹出授权页面的搜索框内，搜索"OBS OperateAccess"策略，勾选"OBS OperateAccess"策略如[图2]所示。 如果OBS并行文件系统配置了KMS加密，同时需要勾选"KMS Administrator"策略。 图2配置权限 ![](https://support.huaweicloud.com/usermanual-mrs/zh-cn_image_0000001990240745.png "点击放大") 7. 单击"下一步"，选择权限范围方案，默认选择"所有资源"，单击"展开其他方案"，选择"全局服务资源"，单击"确定"。 8. 在弹出的提示框中单击"知道了"，开始授权。界面提示"授权成功。"，单击"完成"，委托成功创建。 #### 创建存算分离集群 配置存算分离功能支持在新建集群中配置委托实现，也可以通过为已有集群绑定委托实现。本示例以开启Kerberos认证的集群为例介绍。 **新创建存算分离集群**： 1. 进入[购买MRS集群页面](https://console.huaweicloud.com/mrs/?#/clusterCreate/quick)。 2. 单击"购买集群"，进入"购买集群"页面。 3. 在购买集群页面，选择"自定义购买"页签。 4. 在"自定义购买"页签，根据实际业务规划情况填写集群配置信息（本示例为自定义创建按需计费的MRS 3.2.0-LTS.1版本集群，如需了解更多参数配置请参考[自定义购买MRS集群](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0513.html)）。 表1MRS自定义集群配置参数 | 参数 | 描述 | 示例 | |:---|:---|:---| | 计费模式 | 集群的计费模式，MRS提供"包年/包月"与"按需计费"两种计费模式。 选择"按需计费"时，可能需要冻结一定的保证金，具体内容请参见[计费说明](https://support.huaweicloud.com/price-mrs/mrs_12_000001.html)。 | 按需计费 | | 区域 | 待创建资源所在的区域信息，不同区域的资源之间内网不互通，请选择靠近您的区域，可以降低网络延时、提高访问速度。 | - | | 集群名称 | MRS集群名称，可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期信息等。 集群创建成功后，您也可以在集群列表中手动修改集群名称。 | mrs-test | | 集群类型 | 根据业务需要选择合适的MRS集群类型。 - 分析集群：用于离线数据分析场景，对海量数据进分析处理，形成结果数据，主要包含Hadoop、Spark、Hive、Flink、Oozie、Tez等数据分析类组件。 - 流式集群：用于流式数据处理任务，对实时数据源进行快速分析，主要包含Kafka、Flume等流式数据处理组件。 - 混合集群：既可以用来做离线数据分析，也可以用来做流处理任务的集群。 - 自定义：提供丰富的组件搭配，可自行选择对应版本MRS集群所支持的所有组件。 | 自定义 | | 版本类型 | MRS提供了LTS版与普通版两种类型的集群，不同版本提供的组件有所不同，可根据需要选择版本类型。 - LTS版：集群提供更强的高可靠和容灾能力，融入了MRS服务自研组件，提供长期的支持和演进。 - 普通版：主要依托开源组件的能力，融入了MRS服务自研、成熟稳定的特性和功能，带来性能及稳定性的提升。 | LTS版 | | 集群版本 | MRS集群的版本，不同版本所包含的开源组件版本及功能特性可能不同，推荐选择最新版本。**各集群版本的生命周期信息可参考[MRS集群版本生命周期](https://support.huaweicloud.com/bulletin-mrs/mrs_13_000014.html)。** 版本详细包含的大数据组件信息可参考[MRS组件版本一览表](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0005.html)。 | MRS 3.2.0-LTS.1 | | 组件选择 | 基于系统预置的集群模板选择要购买的集群组件。 支持通过IAM委托对接OBS的组件包括Hadoop、Hive、Spark、Presto、Sqoop、Flink、Flume，请根据实际需求选择。 说明： Hadoop组件包含HDFS、Yarn、Mapreduce服务。DBService、KrbServer及LdapServer等集群内部使用的组件，在创建集群时的组件列表中不呈现。 | Hadoop、Hive | | 元数据 | 是否使用外部数据源存储集群的Hive、Ranger元数据。 - 本地元数据： 元数据存储在集群本地。 - 外置数据连接：使用外部数据源元数据，若集群异常或删除时将不影响元数据，适用于存储计算分离的场景。 | 本地元数据 | | 可用区 | 当前区域内，待创建资源所归属的可用区，可用区是在同一区域下，电力、网络隔离的物理区域。 当您为IES购买MRS时，请选择可用区为"边缘可用区"。 | 可用区1 | | 虚拟私有云 | MRS集群节点所归属的虚拟私有云网络，如果没有可用的虚拟私有云，请单击"查看虚拟私有云"进入网络控制台，创建一个新的虚拟私有云。 关于虚拟私有云更多介绍请参考[什么是虚拟私有云](https://support.huaweicloud.com/productdesc-vpc/zh-cn_topic_0013748729.html)。 | - | | 子网 | 虚拟私有云网络内的子网信息，如果没有可用的子网，请单击"查看子网"进入网络控制台，创建一个新的子网。 关于子网更多介绍请参考[子网](https://support.huaweicloud.com/productdesc-vpc/zh-cn_topic_0030969424.html)。 | - | | 安全组 | 安全组是一组对弹性云服务器的访问规则的集合，为同一个VPC内具有相同安全保护需求并相互信任的弹性云服务器提供访问策略。 创建MRS集群时，系统默认自动创建一个安全组，也可选择下拉框中已有的安全组。 | 自动创建 | | CPU架构 | MRS集群节点的CPU架构类型，可选择"x86计算"或者"鲲鹏计算"。MRS 3.1.0及MRS 3.1.5版本无该参数。 | x86计算 | | 常用模板 | 当"集群类型"选择"自定义"时该参数有效，常用模板包含"管控合设"、"数据分设"和"管控分设"，具体详情请参考[MRS集群部署类型说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0121.html#mrs_01_0121__section126281336123311)选择。 | 管控合设 | | 集群节点 | MRS集群内节点的规格信息及数量配置。 MRS 3.x及之后版本集群Master节点规格不能小于64GB。 | 根据自身需要选择集群节点规格数量。 | | Kerberos认证 | MRS集群中各组件是否启用Kerberos认证。Kerberos认证开启时，用户需要通过认证后才可以访问组件对应资源。 购买集群后，不支持修改。 | 开启Kerberos认证 | | 用户名 | MRS集群Manager及节点的默认登录用户，admin用户用于登录集群的Manager管理界面，root用户为集群内节点的操作系统管理用户，用于节点登录。 | - | | 密码/确认密码 | 配置Manager管理员**admin**用户的密码，该密码请妥善保管。 - 密码长度应在8～26个字符之间 - 必须包含如下4种字符的组合 - 至少一个小写字母 - 至少一个大写字母 - 至少一个数字 - 至少一个特殊字符：\`\~!@#$%\^\&\*()-_=+\|\[{}\];:',\<.\>/? - 不能和用户名或倒序的用户名相同 | - | | 登录方式 | MRS集群内节点的登录方式。 - 密码 可使用**root** 用户以密码方式登录节点，需要手动自定义**root**用户密码。 - 密钥对 使用密钥方式登录集群节点，可从下拉框中选择密钥对，如果已获取私钥文件，请勾选"我确认已获取该密钥对中的私钥文件*SSHkey-xxx*，否则无法登录弹性云服务器"，如果没有创建密钥对，请单击"查看密钥对"创建或导入密钥，然后再获取私钥文件。 | 密码 | | 高级配置 | 开启高级配置，并设置"委托"，通过绑定委托，ECS或BMS云服务将有权限来管理集群的部分资源： - 单击"现有委托"，在下拉框中选择[创建具有访问OBS权限的ECS委托]创建的委托。 - 直接选择MRS在IAM服务中预置的委托"MRS_ECS_DEFAULT_AGENCY"。 | MRS_ECS_DEFAULT_AGENCY | | 企业项目 | 企业项目是一种云资源管理方式，企业项目管理服务提供统一的云资源按项目管理，以及项目内的资源管理、成员管理，您可以选择系统定义的企业项目default或者创建自己的企业项目。 | default | | 通信安全授权 | MRS管理控制台需要直接访问部署在用户VPC内的大数据组件时需要开通相应的安全组规则，详情说明请参考[配置MRS集群安全通信授权](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0786.html)。 | 勾选授权 | 5. 单击"立即购买"。等待集群创建成功。 **为已有集群配置存算分离功能**： 1. 登录[MRS管理控制台](https://console.huaweicloud.com/mrs/)。 2. 在导航栏选择"现有集群"。 3. 单击集群名称，进入集群详情页面。 4. 在集群详情页的"概览"页签，单击"IAM用户同步"右侧的"同步"进行IAM用户同步。 5. 在集群详情页的"概览"页签，单击委托右侧的"选择委托"选择需要绑定的委托并单击"确定"进行绑定，或单击"创建委托"进入IAM控制台进行创建后再在此处进行绑定。 #### 创建OBS并行文件系统用于存放业务数据 ![](https://support.huaweicloud.com/usermanual-mrs/public_sys-resources/warning_3.0-zh-cn.png) 大数据存算分离场景，请务必使用OBS并行文件系统（[并行文件系统](https://support.huaweicloud.com/usermanual-obs/obs_13_0007.html)），使用普通对象桶会对集群性能产生较大影响。 1. 登录[OBS管理控制台](https://console.huaweicloud.com/obs/)。 2. 选择"并行文件系统 \> 创建并行文件系统"。 3. 填写文件系统名称，例如"mrs-word001"。 其他参数请根据需要填写。 图3创建OBS并行文件系统 ![](https://support.huaweicloud.com/usermanual-mrs/zh-cn_image_0000002021423636.png "点击放大") 4. 单击"立即创建"。 5. 在OBS控制台并行文件系统列表中，单击文件系统名称进入详情页面。 6. 在左侧导航栏选择"文件"，新建program、input文件夹。 - program：请上传程序包到该文件夹。 - input：请上传输入数据到该文件夹。 #### 配置生命周期规则 **在MRS 3.2.0-LTS.1及后续版本中，MRS集群内组件默认支持数据防误删策略，即组件用户删除的文件数据并不会直接被删除，而是会保存到OBS文件系统内的用户回收站目录中。** **同时由于OBS的[多段上传](https://support.huaweicloud.com/usermanual-obs/obs_41_0021.html)机制，写入数据到OBS的任务中断或失败时，会在OBS中产生OBS文件碎片**。 为节省OBS使用空间，避免产生额外费用，需参考[配置MRS集群组件回收站目录和OBS碎片生命周期](https://support.huaweicloud.com/usermanual-mrs/mrs_01_249150.html)配置定时自动清理OBS回收站目录中的文件数据和OBS碎片。 #### 管理MRS集群委托 在实际应用场景中，如果集群当前绑定的委托无法满足需求，可执行以下操作进行切换： 1. 登录[MRS管理控制台](https://console.huaweicloud.com/mrs/)。 2. 在现有集群列表中单击MRS集群名称进入集群概览页面。 3. 在"运维管理"区域单击"委托"右侧的"选择委托"。 4. 在弹出的"选择委托"页面选择需要切换的委托名称并单击"确定"，或单击"创建委托"进入IAM控制台进行创建后再在此处进行绑定。 5. 委托切换成功后，需登录Manager页面，具体操作请参见[访问MRS集群Manager](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0128.html)。 6. 选择"集群 \> 服务 \> meta"，在页面右上角选择"更多 \> 重启服务"，输入当前用户密码并单击确定重启meta服务，使集群新绑定的委托生效。 ![](https://support.huaweicloud.com/usermanual-mrs/public_sys-resources/notice_3.0-zh-cn.png) 因IAM委托权限缓存机制，委托内权限变更后生效时间在24小时内，如需快速修改委托权限，建议新建对应权限的委托并绑定给MRS集群。