本章节为您介绍如何在MRS管理控制台自定义创建一个新的MRS集群。
MRS包含了多种大数据组件，用户可基于企业大数据场景的业务场景、数据类型、可靠性要求以及资源预算等要求合理选择集群类型。
用户可以基于系统预置的集群模板快速购买一个集群，也可自行选择组件列表及高级配置特性，自定义购买集群。
MRS系统界面支持同一时间并发创建10个集群，且最多支持管理100个集群。
操作视频
本视频以自定义创建一个MRS集群为例，介绍如何在管理控制台创建MRS集群时进行软件配置、硬件配置、高级配置等。
因不同版本操作界面可能存在差异，相关视频供参考，具体以实际环境为准。
自定义购买MRS集群
- 进入购买MRS集群页面。
- 在购买集群页面，选择“自定义购买”页签。
创建集群时需要注意配额提醒。当资源配额不足时，建议按照提示申请足够的配额资源，再创建集群。
- 在“基础配置”区域，设置MRS集群基础信息。
- 区域：待创建资源所在的区域信息，不同区域的资源之间内网不互通，请选择靠近您的区域，可以降低网络延时、提高访问速度。
- 计费模式：集群的计费模式，MRS提供“包年/包月”与“按需计费”两种计费模式。关于计费相关介绍请参见计费模式概述。
- 根据界面提示，配置MRS集群信息。
创建集群时，您需要对集群的版本信息、网络信息、节点规格信息及数量以及其他高级配置功能进行配置。
- 集群信息全部配置完成后，单击“立即购买”。
- 如果您对价格有疑问，可以单击页面左下角“了解计费详情”，根据计费详情来了解产品价格。
- 若您选择“按需计费”时，可能因为冻结保证金失败或者账号可能存在风险导致下单失败，请联系技术支持处理。
- 单击“进入MRS集群列表”，可以查看到集群创建的状态。
集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。
图1 MRS集群运行状态
集群创建的状态过程请参见查看MRS集群运行状态章节表1中的“状态”参数说明。
MRS集群配置
表1 MRS集群配置参数 参数 | 描述 | 示例 |
|---|
集群名称 | 集群名称不允许重复。 只能由字母、数字、中划线和下划线组成，并且长度为1～64个字符。 | mrs_test |
集群类型 | 根据业务需要选择合适的MRS集群类型。 - 分析集群：用于离线数据分析场景，对海量数据进分析处理，形成结果数据，主要包含Hadoop、Spark、HBase、Hive、Flink、Oozie、Tez等数据分析类组件。
- 流式集群：用于流式数据处理任务，对实时数据源进行快速分析，主要包含Kafka、Flume等流式数据处理组件。
- 混合集群：既可以用来做离线数据分析，也可以用来做流处理任务的集群。
- 自定义：提供丰富的组件搭配，可自行选择对应版本MRS集群所支持的所有组件。
- Doris集群：Doris是一个高性能、实时的分析型数据库，能够较好地满足报表分析、即席查询、数据湖联邦查询加速等使用场景。
| 自定义 |
版本类型 | MRS提供了LTS版与普通版两种类型的集群，不同版本提供的组件有所不同，可根据需要选择版本类型。 - LTS版：集群提供更强的高可靠和容灾能力，融入了MRS服务自研组件，提供长期的支持和演进。
- 普通版：主要依托开源组件的能力，融入了MRS服务自研、成熟稳定的特性和功能，带来性能及稳定性的提升。目前MRS普通版集群不支持直接购买，如需使用普通版集群请提交工单申请开通。
| LTS版 |
集群版本 | MRS集群的版本，不同版本所包含的开源组件版本及功能特性可能不同，推荐选择最新版本。各集群版本的生命周期信息可参考MRS集群版本生命周期。 版本详细包含的大数据组件信息可参考MRS组件版本一览表。 | MRS 3.2.0-LTS.1 |
组件选择 | 选择MRS集群内要部署的组件。 请根据业务需求合理选择需要的组件，部分类型集群创建后不支持添加服务。 说明： Hadoop组件包含HDFS、Yarn、Mapreduce服务。DBService、KrbServer及LdapServer等集群内部使用的组件，在创建集群时的组件列表中不呈现。 | - |
元数据 | 是否使用外部数据源存储集群的Hive、Ranger元数据。 | 本地元数据 |
组件端口 | 当前MRS集群内各组件默认通讯端口值的策略，LTS版本集群支持配置。 - 开源：开源组件的默认通讯端口遵循开源社区的规范不做修改，与开源社区保持一致。
- 定制：定制组件的默认通讯端口与开源社区不一致。
开源默认端口与定制默认端口区别请参考MRS集群服务常用端口列表。 | 开源 |
MRS集群网络配置
表2 MRS集群网络配置参数 参数 | 描述 | 示例 |
|---|
可用区 | 当前区域内，待创建资源所归属的可用区，可用区是在同一区域下，电力、网络隔离的物理区域。 当您为IES购买MRS时，请选择可用区为“边缘可用区”。 | 可用区1 |
虚拟私有云 | MRS集群节点所归属的虚拟私有云网络（VPC），如果没有可用的虚拟私有云，单击“新建虚拟私有云”，可以在右侧弹窗中创建一个新的虚拟私有云，或者单击“查看虚拟私有云”进入网络控制台，创建一个新的虚拟私有云。 关于虚拟私有云更多介绍请参考什么是虚拟私有云。 | - |
子网 | 虚拟私有云（VPC）网络内的子网信息，如果没有可用的子网，单击“新建子网”，可以在右侧弹窗中创建一个新的子网，或者单击“查看子网”进入网络控制台，创建一个新的子网。 - 通过子网提供与其他网络隔离的、可以独享的网络资源，以提高网络安全。网络ACL出规则配置请参考网络ACL出规则配置。
- 创建MRS集群需要的IP数量和集群节点和组件个数相关，集群类型不影响IP数量。
- MRS集群部署默认需要的IP数量为：集群节点数量+2（Manager+DB），如果部署集群时选择Hadoop、Hue、Sqoop或Loader、Presto组件，则每一个组件需要再加一个IP。若单独购买ClickHouse集群则需要的IP数量为：集群节点数量+1（Manager）。
- 关于子网更多介绍请参考子网。
| - |
安全组 | 安全组是一组对弹性云服务器的访问规则的集合，为同一个VPC内具有相同安全保护需求并相互信任的弹性云服务器提供访问策略。 创建MRS集群时，系统默认自动创建一个安全组，也可选择下拉框中已有的安全组。 单击“新建安全组”，可以在右侧弹窗中创建一个新的安全组，单击“管理安全组”，进入网络控制台，创建一个新的安全组。 - 选择用户自己创建的安全组时，请确保入方向规则中有一条全部协议，全部端口，源地址为可信任的IP访问范围的规则，源地址请勿使用0.0.0.0/0，否则会有安全风险。若用户不清楚可信任的IP访问范围，请选择自动创建。
- 关于安全组更多介绍请参考安全组。
| 自动创建 |
弹性公网IP | 通过将弹性公网IP与MRS集群绑定，实现使用弹性公网IP访问Manager的目的。 - 用户创建集群时，可选择下拉框中已有的弹性公网IP进行绑定。若下拉框中没有可选的弹性公网IP，可以单击“创建弹性公网IP”进入弹性公网IP服务进行购买。
- 弹性公网IP必须和集群在同一区域。
- 关于弹性公网IP更多介绍请参考什么是弹性公网IP。
| 暂不绑定 |
MRS集群节点配置
表3 集群节点信息 参数 | 描述 | 示例 |
|---|
CPU架构 | MRS集群节点的CPU架构类型，可选择“x86计算”或者“鲲鹏计算”。MRS 3.1.0及MRS 3.1.5版本无该参数。 | x86计算 |
常用模板 | 当“集群类型”选择“自定义”时该参数有效，常用模板包含“管控合设”、“数据分设”和“管控分设”，具体详情请参考集群部署类型说明选择。 | 管控合设 |
节点组名称 | 设置集群内节点组的名称。 - Master节点组名称固定为“master_node_default_group”。
- 系统会根据集群所包含的组件自动创建对应Core节点组，例如当选择“ClickHouse”组件时，系统会添加ClickHouse节点组，并在该节点组默认部署ClickHouseServer角色。
| node_group_1 |
节点类型 | “集群类型”为“自定义集群”时，可手动选择非Master节点组的节点类型，如果指定节点组类型为Task，则该节点组仅能部署NodeManager角色（除节点必备角色外）。 集群内的节点类型可分为Master节点、Core节点、Task节点。 - Master节点：MRS集群管理节点，节点上部署OMSServer负责管理和监控集群。
- Core节点：MRS集群工作节点，负责处理和分析数据，并存储过程数据。
- Task节点：计算节点，集群计算资源不足时通过配置弹性伸缩策略实现自动扩缩容。
节点类型详情请参考MRS集群节点类型说明。 | Core |
付费类型 | MRS集群中节点的计费模式。 - Master和Core节点组的计费模式与集群所选计费模式保持一致。
- Task节点组的计费模式固定为“按需计费”。
| 按需计费 |
节点数 | 配置各节点组内的节点个数。 - Master节点组的节点数量最少为3个，最多不超过9个。
- Core节点组至少存在一个，Core节点和Task节点的数量之和不能超过10000个。
- “集群类型”为“自定义集群”时，可以单击“添加节点组”，添加多个节点组。
过小的节点容量会导致您的集群运行缓慢，而过大的节点容量会产生不必要的成本，请根据您要处理的数据对集群节点数量进行调整。 | - |
实例规格 | 选择MRS集群节点的实例规格，可单击 进行调整。 - 关于MRS集群节点规格的详细说明可参考MRS集群节点规格说明。
- 节点的实例规格配置越高，数据处理分析能力越强，集群所需费用也越高。
- 不同可用区内的实例规格可能有差异，如果当前可用区下的实例规格不满足需求，可尝试切换其他可用区。
- 当Core节点规格选择为HDD磁盘时，MRS无需为数据磁盘付费，但ECS需要为此付费。
- 当Core节点规格选择非HDD磁盘时，Master节点和Core节点的磁盘类型取决于数据磁盘。
- 当节点的实例规格选项后标示“已售罄”时，将无法购买此规格的节点，请选择其他规格节点进行购买。
- Master节点中的4核8GB规格不在SLA售后范围内，仅适用于测试环境，不建议用于生产环境。
- MRS 3.x及之后版本集群Master、Core节点的内存规格不能小于64GB。
| - |
系统盘 | 节点系统盘的存储类型和存储空间，可根据需要进行调整，更多MRS集群存储说明请参考集群节点磁盘类型。 | - |
数据盘 | 节点数据盘的存储类型和存储空间，为增大数据存储容量，创建集群时可同时添加磁盘，每个Core或者Task节点最多支持添加10块磁盘，更多MRS集群存储说明请参考集群节点磁盘类型。 当创建MRS集群并选择HBase、HDFS、Kudu、Kafka和ClickHouse组件时，如果Core节点仅配置单个数据盘，可能会达到IO性能上限。建议根据业务需求，增加更多磁盘以提升整体性能。 | - |
LVM | 仅当创建流式Core节点时，该参数在流式Core节点有效。单击该参数以开启或关闭磁盘LVM管理。MRS 3.x及之后版本不支持该参数。 启用逻辑卷管理(LVM)时，会将节点中所有磁盘以逻辑卷的方式挂载，能够更加合理的规划磁盘，避免磁盘不均匀的问题，提升系统的稳定性。 | 不开启 |
拓扑调整 | “集群类型”为“自定义集群”时，可手动调整集群内各组件在节点组的部署情况。 设置“拓扑调整”为“开启”，然后根据业务需要调整实例部署方式，具体说明请参见自定义集群拓扑调整说明。 | 不开启 |
MRS集群其他配置
表4 MRS其他配置信息 参数 | 描述 | 示例 |
|---|
Kerberos认证 | MRS集群中各组件是否启用Kerberos认证。Kerberos认证开启时，业务用户需要通过认证后才可以访问组件对应资源。 购买集群后，Kerberos认证开关不支持修改。 | 开启Kerberos认证 |
用户名 | Manager管理员用户，目前默认为admin用户。 | admin |
密码/确认密码 | 配置Manager管理员admin用户的密码，该密码请妥善保管。 - 密码长度应在8～26个字符之间
- 必须包含如下4种字符的组合
- 至少一个小写字母
- 至少一个大写字母
- 至少一个数字
- 至少一个特殊字符：`~!@#$%^&*()-_=+|[{}];:',<.>/?
- 不能和用户名或倒序的用户名相同
| - |
登录方式 | MRS集群内节点的登录方式。 | 密码 |
Kerberos加密类型 | Kerberos加密类型表示Kerberos服务执行加密操作时要使用的加密算法和模式（MRS 3.3.1-LTS及之后版本支持配置，之前版本集群的Kerberos加密类型默认为“aes256-sha1,aes128-sha1”）。 - aes256-sha1,aes128-sha1：表示加密算法和模式为“AES256-CTS-HMAC-SHA1-96 AES128-CTS-HMAC-SHA1-96”。
- aes256-sha2,aes128-sha2：表示加密算法和模式为“AES256-CTS-HMAC-SHA384-192 AES128-CTS-HMAC-SHA256-128”。
配置时需要注意以下几点： - 集群创建完成后不支持修改Kerberos加密类型，请根据实际需要谨慎配置。
- 如果两集群加密类型不一致，将会导致集群无法配置跨Manager集群互信。
- 如需使用外部JAVA程序对接MRS集群进行Kerberos认证，如果Kerberos加密类型选择“aes256-sha2,aes128-sha2”，则外部JAVA程序需使用JDK 11（或毕昇JDK 1.8.0_392）及之后版本。
- 如需使用DataArts Studio创建的实例对接MRS集群，Kerberos加密类型请选择“aes256-sha1,aes128-sha1”。
| aes256-sha2,aes128-sha2 |
高级配置 | MRS集群相关高级功能参数，具体请参考表5。 | - |
企业项目 | 选择集群所属的企业项目，如需使用企业项目，请先通过“企业 > 项目管理”服务创建。 企业项目所在的企业管理控制台以面向企业资源管理为出发点，帮助企业以公司、部门、项目等分级管理方式实现企业云上的人员、资源、权限、财务的管理。 | default |
购买时长 | 包年/包月模式下该参数有效，表示购买集群的时长。最短时长为1个月，最长时长为1年。 如需开通自动续费功能，请勾选“自动续费”，开通后按月购买的集群自动续费周期为1个月，按年购买的集群自动续费周期为1年。 | - |
通信安全授权 | MRS管理控制台需要直接访问部署在用户VPC内的大数据组件时需要开通相应的安全组规则，详情说明请参考配置MRS集群安全通信授权。 | 勾选授权 |
表5 MRS集群高级配置信息 参数 | 描述 | 示例 |
|---|
主机名前缀 | 用作集群中ECS服务器或BMS服务器主机名的前缀。 | - |
加密算法 | 集群系统中各类密码信息加解密所使用的算法。 - 国际算法：通用加密算法。
- 国密算法：SM系列商密算法，同时兼容通用加密算法。
| 国际算法 |
指定集群节点时区 | 是否开启创建集群时可以指定节点时区，默认关闭。 关闭时将使用MRS服务默认时区。开启后可以在“可用时区”中选择对应的时区。 | - |
标签 | 如果您需要使用同一标签标识多种云资源，即所有服务均可在标签输入框下拉选择同一标签，建议在标签管理服务（TMS）中创建预定义标签，然后为集群配置标签值，具体请参考添加MRS集群节点标签。 关于标签管理服务更多介绍请参考什么是标签管理服务。 | - |
弹性伸缩 | 配置集群内Task节点组的弹性伸缩策略，当“集群类型”为“自定义集群”时，需要在集群创建完成后进行设置，详情说明请参考MRS集群Task节点弹性伸缩配置。 | - |
引导操作 | 引导操作可以在集群内指定的节点上执行脚本，来进行安装第三方软件、修改集群运行环境等自定义操作，详情说明请参考添加MRS节点引导操作安装第三方软件。 | - |
日志转储 | 是否开启日志转储，启用后集群日志将会自动上传至用户指定的OBS目录。 开启日志转储时，还需要配置参数“转储路径”，选择对应OBS的存储路径。上传文件需要对应OBS路径的读写权限，系统默认生成了一个“MRS_ECS_DEFAULT_AGENCY”委托，该委托拥有对象存储服务的MRS Agency OBSAccess权限。 | - |
委托 | 通过绑定委托，ECS或BMS云服务将有权限来管理集群的部分资源，请根据实际业务场景需求确认是否需要配置委托。 例如通过配置ECS委托可自动获取AK/SK访问OBS，实现集群的存算分离，具体请参见配置MRS集群通过IAM委托对接OBS。 如需为集群MRS集群绑定委托，需提前创建具有所需权限的IAM委托，系统默认生成了一个“MRS_ECS_DEFAULT_AGENCY”委托，该委托拥有对象存储服务的MRS Agency OBSAccess权限和在集群所在区域拥有MRS Agency CESAccess和MRS Agency KMSAccess权限。 开启日志转储后，系统会自动开启委托，并绑定“MRS_ECS_DEFAULT_AGENCY”委托。 | 暂不绑定 |
指标共享 | 用于采集大数据组件的监控指标，当用户使用集群过程中出现问题时，供华为云支持人员定位问题。 | 关闭 |
系统盘加密 | 是否对MRS集群节点所挂载的系统盘中的数据进行加密，默认关闭。仅MRS 3.3.0-LTS及之后版本支持。 加密系统盘使用的密钥由密码安全中心（DEW，Data Encryption Workshop）中密钥管理（KMS，Key Management Service）服务提供，无需您自行构建和维护密钥管理基础设施。如需开启该功能，当前用户必须拥有“Security Administrator”和“KMS Administrator”权限。 关于磁盘加密更多介绍请参考云硬盘加密。 关于密码安全中心更多介绍请参考什么是密码安全中心。 开启系统盘加密时，需配置以下参数： | 关闭 |
数据盘加密 | 是否对MRS集群节点所挂载的数据盘中的数据进行加密，默认关闭。 关于磁盘加密更多介绍请参考云硬盘加密。 加密系统盘使用的密钥由密码安全中心（DEW，Data Encryption Workshop）中密钥管理（KMS，Key Management Service）服务提供，无需您自行构建和维护密钥管理基础设施。如需开启该功能，当前用户必须拥有“Security Administrator”和“KMS Administrator”权限。 开启数据盘加密时，需配置以下参数： | 关闭 |
告警 | 开启告警功能可在集群运行异常或系统故障时，及时通知集群维护人员定位问题。本功能需要配合消息通知服务（SMN）使用，开启后需要设置一个发送告警消息的规则名称并绑定SMN主题。 | 开启 |
安装UniAgent | 为MRS集群节点安装统一数据采集Agent（UniAgent），完成统一插件生命周期管理，并为AOM提供指令下发功能，如脚本下发和执行。 关于统一数据采集Agent更多详情请参考AOM采集管理。 | 否 |
日志记录 | 集群创建失败时，是否收集失败日志。 开启日志记录开关之后将自动收集集群创建失败、扩/缩容失败等场景下的系统日志及相关组件运行日志到OBS文件系统中，该日志用于运维人员快速定位问题。 该日志信息将最多保留7天。 | 关闭 |
常见问题
MRS集群创建过程中常见问题及失败可能原因如下：
创建MRS集群时如何手动添加Task节点组
当前MRS集群如需规划Task节点组进行弹性伸缩，在配置集群节点信息过程中，可参考以下步骤进行操作：
添加分析Task节点组：- 对于集群类型为“分析集群”或“混合集群”的集群：
- 在集群节点配置区域，单击“添加分析Task节点组”，节点组名称默认为“task_node_analysis_group”。
- 请根据实际需求设置节点数量、实例规格及节点磁盘配置。
- 对于集群类型为“自定义”的集群：
- 在集群节点配置区域，单击“添加节点组”，手动添加一个新的节点组。
- 节点类型选择“Task”。
- 请根据实际需求设置节点数量、实例规格及节点磁盘配置。
- 配置“拓扑调整”参数为“开启”。
- 手动选择角色拓扑，使该节点组只包含NodeManager角色（NM）即可。
添加流式Task节点组：
对于集群类型为“流式集群”、“混合集群”且包含Storm组件的集群：
系统会自动添加流式Task节点组“task_node_streaming_group”，请根据实际需求设置节点数量、实例规格及节点磁盘配置。
若不需要该流式Task节点组，可手动删除。
查看MRS集群创建失败任务详情
如果集群创建失败后，失败任务会自动转入“失败任务管理”页面。
在集群列表页面单击
进入“失败任务管理”页面，在“任务状态”列中，将鼠标移动到任务状态上可以查看到失败原因。
MRS集群创建失败错误码列表如表6所示。
表6 错误码 错误码 | 说明 |
|---|
MRS.101 | 用户请求配额不足，请联系客服提升配额。 |
MRS.102 | 用户Token为空或不合法，请稍后重试或联系客服。 |
MRS.103 | 用户请求不合法，请稍后重试或联系客服。 |
MRS.104 | 用户资源不足，请稍后重试或联系客服。 |
MRS.105 | 当前子网IP不足，请稍后重试或联系客服。 |
MRS.201 | 因ECS服务导致失败，请稍后重试或联系客服。 |
MRS.202 | 因IAM服务导致失败，请稍后重试或联系客服。 |
MRS.203 | 因VPC服务导致失败，请稍后重试或联系客服。 |
MRS.400 | MRS内部出错，请稍后重试或联系客服。 |
