配置MRS集群通过IAM委托对接OBS

创建具有访问OBS权限的ECS委托

• MRS在IAM的委托列表中预置了MRS_ECS_DEFAULT_AGENCY委托，可在集群创建过程中选择该委托，该委托拥有对象存储服务的OBS OperateAccess权限和在集群所在区域拥有CES FullAccess（对开启细粒度策略的用户）、CES Administrator和KMS Administrator权限。同时请勿在IAM修改MRS_ECS_DEFAULT_AGENCY委托。
• 如需使用预置的委托，请跳过创建委托步骤。如需使用自定义委托，请参考如下步骤进行创建委托（创建或修改委托需要用户具有Security Administrator权限）。如果还需对OBS文件系统中的指定路径进行更加细粒度的权限控制，可参考配置MRS集群用户的OBS的细粒度访问权限创建自定义的角色策略。

1. 登录华为云管理控制台。
2. 在服务列表中选择“管理与监管 > 统一身份认证服务 IAM”。
3. 选择“委托 > 创建委托”。
4. 设置“委托名称”，例如：mrs_ecs_obs。
5. “委托类型”选择“云服务”，在“云服务”中选择“弹性云服务器ECS 裸金属服务器BMS”，授权ECS或BMS调用OBS服务，如图1所示。
6. “持续时间”选择“永久”并单击“完成”。
   图1 创建委托
   
7. 在授权的确认弹窗中，单击“立即授权”，在弹出授权页面的搜索框内，搜索“OBS OperateAccess”策略，勾选“OBS OperateAccess”策略如图2所示。

   如果OBS桶配置了KMS加密，同时需要勾选“KMS Administrator”策略。

   图2 配置权限
   
8. 单击“下一步”，选择权限范围方案，默认选择“所有资源”，单击“展开其他方案”，选择“全局服务资源”，单击“确定”。
9. 在弹出的提示框中单击“知道了”，开始授权。界面提示“授权成功。”，单击“完成”，委托成功创建。

创建存算分离集群

配置存算分离功能支持在新建集群中配置委托实现，也可以通过为已有集群绑定委托实现。本示例以开启Kerberos认证的集群为例介绍。

新创建存算分离集群：

1. 进入购买MRS集群页面。
2. 单击“购买集群”，进入“购买集群”页面。
3. 在购买集群页面，选择“自定义购买”页签。
4. 在“自定义购买”页签，根据实际业务规划情况填写集群配置信息（本示例为自定义创建按需计费的MRS 3.2.0-LTS.1版本集群，如需了解更多参数配置请参考自定义购买MRS集群）。

   表1 MRS自定义集群配置参数

   参数	描述	示例
   计费模式	集群的计费模式，MRS提供“包年/包月”与“按需计费”两种计费模式。 选择“按需计费”时，可能需要冻结一定的保证金，具体内容请参见计费说明。	按需计费
   区域	待创建资源所在的区域信息，不同区域的资源之间内网不互通，请选择靠近您的区域，可以降低网络延时、提高访问速度。	-
   集群名称	MRS集群名称，可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期信息等。 集群创建成功后，您也可以在集群列表中手动修改集群名称。	mrs-test
   集群类型	根据业务需要选择合适的MRS集群类型。 分析集群：用于离线数据分析场景，对海量数据进分析处理，形成结果数据，主要包含Hadoop、Spark、HBase、Hive、Flink、Oozie、Tez等数据分析类组件。 流式集群：用于流式数据处理任务，对实时数据源进行快速分析，主要包含Kafka、Flume等流式数据处理组件。 混合集群：既可以用来做离线数据分析，也可以用来做流处理任务的集群。 自定义：提供丰富的组件搭配，可自行选择对应版本MRS集群所支持的所有组件。	自定义
   版本类型	MRS提供了LTS版与普通版两种类型的集群，不同版本提供的组件有所不同，可根据需要选择版本类型。 LTS版：集群提供更强的高可靠和容灾能力，融入了MRS服务自研组件，提供长期的支持和演进。 普通版：主要依托开源组件的能力，融入了MRS服务自研、成熟稳定的特性和功能，带来性能及稳定性的提升。	LTS版
   集群版本	MRS集群的版本，不同版本所包含的开源组件版本及功能特性可能不同，推荐选择最新版本。各集群版本的生命周期信息可参考MRS集群版本生命周期。 版本详细包含的大数据组件信息可参考MRS组件版本一览表。	MRS 3.2.0-LTS.1
   组件选择	基于系统预置的集群模板选择要购买的集群组件。 支持通过IAM委托对接OBS的组件包括Hadoop、Hive、Spark、Presto、Sqoop、Flink、Flume，请根据实际需求选择。 说明： Hadoop组件包含HDFS、Yarn、Mapreduce服务。DBService、KrbServer及LdapServer等集群内部使用的组件，在创建集群时的组件列表中不呈现。	Hadoop、Hive
   元数据	是否使用外部数据源存储集群的Hive、Ranger元数据。 本地元数据： 元数据存储在集群本地。 外置数据连接：使用外部数据源元数据，若集群异常或删除时将不影响元数据，适用于存储计算分离的场景。	本地元数据
   可用区	当前区域内，待创建资源所归属的可用区，可用区是在同一区域下，电力、网络隔离的物理区域。 当您为IES购买MRS时，请选择可用区为“边缘可用区”。	可用区1
   虚拟私有云	MRS集群节点所归属的虚拟私有云网络，如果没有可用的虚拟私有云，请单击“查看虚拟私有云”进入网络控制台，创建一个新的虚拟私有云。 关于虚拟私有云更多介绍请参考什么是虚拟私有云。	-
   子网	虚拟私有云网络内的子网信息，如果没有可用的子网，请单击“查看子网”进入网络控制台，创建一个新的子网。 关于子网更多介绍请参考子网。	-
   安全组	安全组是一组对弹性云服务器的访问规则的集合，为同一个VPC内具有相同安全保护需求并相互信任的弹性云服务器提供访问策略。 创建MRS集群时，系统默认自动创建一个安全组，也可选择下拉框中已有的安全组。	自动创建
   CPU架构	MRS集群节点的CPU架构类型，可选择“x86计算”或者“鲲鹏计算”。MRS 3.1.0及MRS 3.1.5版本无该参数。	x86计算
   常用模板	当“集群类型”选择“自定义”时该参数有效，常用模板包含“管控合设”、“数据分设”和“管控分设”，具体详情请参考MRS集群部署类型说明选择。	管控合设
   集群节点	MRS集群内节点的规格信息及数量配置。 MRS 3.x及之后版本集群Master节点规格不能小于64GB。	根据自身需要选择集群节点规格数量。
   Kerberos认证	MRS集群中各组件是否启用Kerberos认证。Kerberos认证开启时，用户需要通过认证后才可以访问组件对应资源。 购买集群后，不支持修改。	开启Kerberos认证
   用户名	MRS集群Manager及节点的默认登录用户，admin用户用于登录集群的Manager管理界面，root用户为集群内节点的操作系统管理用户，用于节点登录。	-
   密码/确认密码	配置Manager管理员admin用户的密码，该密码请妥善保管。 密码长度应在8～26个字符之间 必须包含如下4种字符的组合 至少一个小写字母 至少一个大写字母 至少一个数字 至少一个特殊字符：`~!@#$%^&*()-_=+|[{}];:',<.>/? 不能和用户名或倒序的用户名相同	-
   登录方式	MRS集群内节点的登录方式。 密码 可使用root用户以密码方式登录节点，需要手动自定义root用户密码。 密钥对 使用密钥方式登录集群节点，可从下拉框中选择密钥对，如果已获取私钥文件，请勾选“我确认已获取该密钥对中的私钥文件SSHkey-xxx，否则无法登录弹性云服务器”，如果没有创建密钥对，请单击“查看密钥对”创建或导入密钥，然后再获取私钥文件。	密码
   高级配置	开启高级配置，并设置“委托”，通过绑定委托，ECS或BMS云服务将有权限来管理集群的部分资源： 单击“现有委托”，在下拉框中选择创建具有访问OBS权限的ECS委托创建的委托。 直接选择MRS在IAM服务中预置的委托“MRS_ECS_DEFAULT_AGENCY”。	MRS_ECS_DEFAULT_AGENCY
   企业项目	企业项目是一种云资源管理方式，企业项目管理服务提供统一的云资源按项目管理，以及项目内的资源管理、成员管理，您可以选择系统定义的企业项目default或者创建自己的企业项目。	default
   通信安全授权	MRS管理控制台需要直接访问部署在用户VPC内的大数据组件时需要开通相应的安全组规则，详情说明请参考配置MRS集群安全通信授权。	勾选授权

5. 单击“立即购买”。等待集群创建成功。

为已有集群配置存算分离功能：

1. 登录MRS控制台，在导航栏选择“现有集群”。
2. 单击集群名称，进入集群详情页面。
3. 在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步。
4. 在集群详情页的“概览”页签，单击委托右侧的“管理委托”选择需要绑定的委托并单击“确定”进行绑定，或单击“创建委托”进入IAM控制台进行创建后再在此处进行绑定。

创建OBS并行文件系统用于存放业务数据

大数据存算分离场景，请务必使用OBS并行文件系统（并行文件系统），使用普通对象桶会对集群性能产生较大影响。

1. 登录OBS控制台。
2. 选择“并行文件系统 > 创建并行文件系统”。
3. 填写文件系统名称，例如“mrs-word001”。

   其他参数请根据需要填写。

   图3 创建OBS并行文件系统
   
4. 单击“立即创建”。
5. 在OBS控制台并行文件系统列表中，单击文件系统名称进入详情页面。
6. 在左侧导航栏选择“文件”，新建program、input文件夹。
   • program：请上传程序包到该文件夹。
   • input：请上传输入数据到该文件夹。

配置生命周期规则

在MRS 3.2.0-LTS.1及后续版本中，MRS集群内组件默认支持数据防误删策略，即组件用户删除的文件数据并不会直接被删除，而是会保存到OBS文件系统内的用户回收站目录中。

为节省OBS使用空间，需参考配置MRS集群组件回收站目录清理策略配置定时自动清理OBS回收站目录中的文件数据。