本章节为您介绍如何在MRS管理控制台自定义创建一个新的MRS集群。
MRS包含了多种大数据组件，用户可基于企业大数据场景的业务场景、数据类型、可靠性要求以及资源预算等要求合理选择集群类型。
用户可以基于系统预置的集群模板快速购买一个集群，也可自行选择组件列表及高级配置特性，自定义购买集群。
操作视频
本视频以自定义创建一个MRS 3.1.0版本集群为例，介绍如何在管理控制台创建MRS集群时进行软件配置、硬件配置、高级配置等。
因不同版本操作界面可能存在差异，相关视频供参考，具体以实际环境为准。
自定义购买MRS集群
- 进入购买MRS集群页面。
- 在购买集群页面，选择“自定义购买”页签。
创建集群时需要注意配额提醒。当资源配额不足时，建议按照提示申请足够的资源，再创建集群。
- 在“基础配置”区域，设置MRS集群基础信息。
- 计费模式：集群的计费模式，MRS提供“包年/包月”与“按需计费”两种计费模式。
- 区域：待创建资源所在的区域信息，不同区域的资源之间内网不互通，请选择靠近您的区域，可以降低网络延时、提高访问速度。
- 根据界面提示，配置MRS集群信息。
创建集群时，您需要对集群的版本信息、网络信息、节点规格信息及数量以及其他高级配置功能进行配置。
- 集群信息全部配置完成后，单击“立即购买”。
当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。购买集群后，不支持修改。
- 如果您对价格有疑问，可以单击页面左下角“了解计费详情”，根据计费详情来了解产品价格。
- 若您选择“按需计费”时，可能因为冻结保证金失败或者账号可能存在风险导致下单失败，请联系技术支持处理。
- 单击“返回集群列表”，可以查看到集群创建的状态。
集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。
MRS系统界面支持同一时间并发创建10个集群，且最多支持管理100个集群。
集群创建的状态过程请参见表1中的“状态”参数说明。
MRS集群版本配置
表1 MRS集群配置参数
|
参数 |
描述 |
示例 |
|
集群类型 |
根据业务需要选择合适的MRS集群类型。
- 分析集群：用于离线数据分析场景，对海量数据进分析处理，形成结果数据，主要包含Hadoop、Spark、HBase、Hive、Flink、Oozie、Tez等数据分析类组件。
- 流式集群：用于流式数据处理任务，对实时数据源进行快速分析，主要包含Kafka、Flume等流式数据处理组件。
- 混合集群：既可以用来做离线数据分析，也可以用来做流处理任务的集群。
- 自定义：提供丰富的组件搭配，可自行选择对应版本MRS集群所支持的所有组件。
|
自定义 |
|
版本类型 |
MRS提供了LTS版与普通版两种类型的集群，不同版本提供的组件有所不同，可根据需要选择版本类型。
- LTS版：集群提供更强的高可靠和容灾能力，融入了MRS服务自研组件，提供长期的支持和演进。
- 普通版：主要依托开源组件的能力，融入了MRS服务自研、成熟稳定的特性和功能，带来性能及稳定性的提升。
|
LTS版 |
|
集群版本 |
MRS集群的版本，不同版本所包含的开源组件版本及功能特性可能不同，推荐选择最新版本。
版本详细包含的组件详细可参考MRS组件版本一览表。 |
MRS 3.2.0-LTS.1 |
|
组件选择 |
选择要MRS集群内要部署的组件。
请根据业务需求合理选择需要的组件，部分类型集群创建后不支持添加服务。 |
- |
|
元数据 |
是否使用外部数据源存储集群的Hive、Ranger元数据。
|
本地元数据 |
|
组件端口 |
当前MRS集群内各组件默认通讯端口值的策略，LTS版本集群支持配置。
- 开源：开源组件的默认通讯端口遵循开源社区的规范不做修改，与开源社区保持一致。
- 定制：定制组件的默认通讯端口与开源社区不一致。
开源默认端口与定制默认端口区别请参考MRS集群服务常用端口列表。 |
开源 |
MRS集群网络配置
表2 MRS集群网络配置参数
|
参数 |
描述 |
示例 |
|
可用区 |
当前区域内，待创建资源所归属的可用区，可用区是在同一区域下，电力、网络隔离的物理区域。
说明：
当您为IES购买MRS时，请选择可用区为“边缘可用区”。
|
可用区1 |
|
虚拟私有云 |
MRS集群节点所归属的虚拟私有云网络（VPC），如果没有可用的虚拟私有云，请单击“查看虚拟私有云”进入网络控制台，创建一个新的虚拟私有云。 |
- |
|
子网 |
虚拟私有云（VPC）网络内的子网信息，如果没有可用的子网，请单击“查看子网”进入网络控制台，创建一个新的子网。
通过子网提供与其他网络隔离的、可以独享的网络资源，以提高网络安全。网络ACL出规则配置请参考如何配置网络ACL出规则？。
说明：
- 创建MRS集群需要的IP数量和集群节点和组件个数相关，集群类型不影响IP数量。
- MRS集群部署默认需要的IP数量为：集群节点数量+2（Manager+DB），如果部署集群时选择Hadoop、Hue、Sqoop或Loader、Presto组件，则每一个组件需要再加一个IP。若单独购买ClickHouse集群则需要的IP数量为：集群节点数量+1（Manager）。
|
- |
|
安全组 |
安全组是一组对弹性云服务器的访问规则的集合，为同一个VPC内具有相同安全保护需求并相互信任的弹性云服务器提供访问策略。
创建MRS集群时，系统默认自动创建一个安全组，也可选择下拉框中已有的安全组。
说明：
选择用户自己创建的安全组时，请确保入方向规则中有一条全部协议，全部端口，源地址为可信任的IP访问范围的规则，源地址请勿使用0.0.0.0/0，否则会有安全风险。若用户不清楚可信任的IP访问范围，请选择自动创建。
|
自动创建 |
|
弹性公网IP |
通过将弹性公网IP与MRS集群绑定，实现使用弹性公网IP访问Manager的目的。
用户创建集群时，可选择下拉框中已有的弹性公网IP进行绑定。若下拉框中没有可选的弹性公网IP，可以单击“创建弹性公网IP”进入弹性公网IP服务进行购买。
|
暂不绑定 |
MRS集群节点配置
表3 集群节点信息
|
参数 |
描述 |
示例 |
|
CPU架构 |
MRS集群节点的CPU架构类型，可选择“x86计算”或者“鲲鹏计算”。MRS 3.1.0及MRS 3.1.5版本无该参数。 |
x86计算 |
|
常用模板 |
当“集群类型”选择“自定义”时该参数有效，常用模板包含“管控合设”、“数据分设”和“管控分设”，具体详情请参考MRS集群部署类型说明选择。 |
管控合设 |
|
节点组名称 |
设置集群内节点组的名称。
- Master节点组名称固定为“master_node_default_group”。
- 系统会根据集群所包含的组件自动创建对应Core节点组，例如当选择“ClickHouse”组件时，系统会添加ClickHouse节点组，并在该节点组默认部署ClickHouseServer角色。
|
node_group_1 |
|
节点类型 |
“集群类型”为“自定义集群”时，可手动选择非Master节点组的节点类型，如果指定节点组类型为Task，则该节点组仅能部署NodeManager角色（除节点必备角色外）。 |
Core |
|
付费类型 |
MRS集群中节点的计费模式。
- Master和Core节点组的计费模式与集群所选计费模式保持一致。
- Task节点组的计费模式固定为“按需计费”。
|
按需计费 |
|
节点数 |
配置各节点组内的节点个数。
- Master节点组的节点数量最少为3个，最多不超过9个。
- Core节点组至少存在一个，Core节点和Task节点的数量之和不能超过10000个。
- “集群类型”为“自定义集群”时，可以单击“添加节点组”，添加多个节点组。
说明：
过小的节点容量会导致您的集群运行缓慢，而过大的节点容量会产生不必要的成本，请根据您要处理的数据对集群节点数量进行调整。
|
- |
|
实例规格 |
选择MRS集群节点的实例规格，可单击 进行调整。
关于MRS集群节点规格的详细说明可参考MRS集群节点规格说明。
说明：
- 节点的实例规格配置越高，数据处理分析能力越强，集群所需费用也越高。
- 不同可用区内的实例规格可能有差异，如果当前可用区下的实例规格不满足需求，可尝试切换其他可用区。
- 当Core节点规格选择为HDD磁盘时，MRS无需为数据磁盘付费，但ECS需要为此付费。
- 当Core节点规格选择非HDD磁盘时，Master节点和Core节点的磁盘类型取决于数据磁盘。
- 当节点的实例规格选项后标示“已售罄”时，将无法购买此规格的节点，请选择其他规格节点进行购买。
- Master节点中的4核8GB规格不在SLA售后范围内，仅适用于测试环境，不建议用于生产环境。
- MRS 3.x及之后版本集群Master节点规格不能小于64GB。
|
- |
|
系统盘 |
节点系统盘的存储类型和存储空间，可根据需要进行调整，更多MRS集群存储说明请参考磁盘角色。 |
- |
|
数据盘 |
节点数据盘的存储类型和存储空间，为增大数据存储容量，创建集群时可同时添加磁盘，每个Core或者Task节点最多支持添加10块磁盘，更多MRS集群存储说明请参考磁盘角色。 |
- |
|
LVM |
仅当创建流式Core节点时，该参数在流式Core节点有效。单击该参数以开启或关闭磁盘LVM管理。MRS 3.x及之后版本不支持该参数。
启用逻辑卷管理(LVM)时，会将节点中所有磁盘以逻辑卷的方式挂载，能够更加合理的规划磁盘，避免磁盘不均匀的问题，提升系统的稳定性。 |
不开启 |
|
拓扑调整 |
“集群类型”为“自定义集群”时，可手动调整集群内各组件在节点组的部署情况。
设置“拓扑调整”为“开启”，然后根据业务需要调整实例部署方式，具体说明请参见自定义集群拓扑调整说明。 |
不开启 |
MRS集群其他配置
表4 MRS其他配置信息
|
参数 |
描述 |
示例 |
|
Kerberos认证 |
MRS集群中各组件是否启用Kerberos认证。Kerberos认证开启时，业务用户需要通过认证后才可以访问组件对应资源。
购买集群后，Kerberos认证开关不支持修改。 |
开启Kerberos认证 |
|
用户名 |
Manager管理员用户，目前默认为admin用户。 |
admin |
|
密码/确认密码 |
配置Manager管理员admin用户的密码，该密码请妥善保管。
- 密码长度应在8～26个字符之间
- 必须包含如下4种字符的组合
- 至少一个小写字母
- 至少一个大写字母
- 至少一个数字
- 至少一个特殊字符：`~!@#$%^&*()-_=+|[{}];:',<.>/?
- 不能和用户名或倒序的用户名相同
|
- |
|
登录方式 |
MRS集群内节点的登录方式。
|
密码 |
|
Kerberos加密类型 |
Kerberos加密类型表示Kerberos服务执行加密操作时要使用的加密算法和模式（MRS 3.3.1-LTS及之后版本支持配置，之前版本集群的Kerberos加密类型默认为“aes256-sha1,aes128-sha1”）。
- aes256-sha1,aes128-sha1：表示加密算法和模式为“AES256-CTS-HMAC-SHA1-96 AES128-CTS-HMAC-SHA1-9”。
- aes256-sha2,aes128-sha2：表示加密算法和模式为“AES256-CTS-HMAC-SHA384-192 AES128-CTS-HMAC-SHA256-128”。
说明：
- 如果两集群加密类型不一致，将会导致集群无法配置跨Manager集群互信。
- 如需使用外部JAVA程序对接MRS集群进行Kerberos认证，如果Kerberos加密类型选择“aes256-sha2,aes128-sha2”，则外部JAVA程序需使用JDK 11（或毕昇JDK 1.8.0_392）及之后版本。
- 如需使用DataArts Studio创建的实例对接MRS集群，Kerberos加密类型请选择“aes256-sha1,aes128-sha1”。
|
aes256-sha2,aes128-sha2 |
|
高级配置 |
MRS集群相关高级功能参数，具体请参考表5。 |
- |
|
企业项目 |
选择集群所属的企业项目，如需使用企业项目，请先通过“企业 > 项目管理”服务创建。
企业项目所在的企业管理控制台以面向企业资源管理为出发点，帮助企业以公司、部门、项目等分级管理方式实现企业云上的人员、资源、权限、财务的管理。 |
default |
|
购买时长 |
包年/包月模式下该参数有效，表示购买集群的时长。最短时长为1个月，最长时长为1年。
如需开通自动续费功能，请勾选“自动续费”，开通后按月购买的集群自动续费周期为1个月，按年购买的集群自动续费周期为1年。 |
- |
|
通信安全授权 |
MRS管理控制台需要直接访问部署在用户VPC内的大数据组件时需要开通相应的安全组规则，详情说明请参考配置MRS集群安全通信授权。 |
勾选授权 |
表5 MRS集群高级配置信息
|
参数 |
描述 |
示例 |
|
主机名前缀 |
用作集群中ECS服务器或BMS服务器主机名的前缀。 |
- |
|
加密算法 |
集群系统中各类密码信息加解密所使用的算法。
- 国际算法：通用加密算法。
- 国密算法：SM系列商密算法，同时兼容通用加密算法。
|
国际算法 |
|
标签 |
如果您需要使用同一标签标识多种云资源，即所有服务均可在标签输入框下拉选择同一标签，建议在标签管理服务（TMS）中创建预定义标签，然后为集群配置标签值，具体请参考添加MRS集群节点标签。 |
- |
|
弹性伸缩 |
配置集群内Task节点组的弹性伸缩策略，当“集群类型”为“自定义集群”时，需要在集群创建完成后进行设置，详情说明请参考MRS集群Task节点弹性伸缩配置。 |
- |
|
引导操作 |
引导操作可以在集群内指定的节点上执行脚本，来进行安装第三方软件、修改集群运行环境等自定义操作，详情说明请参考添加MRS节点引导操作安装第三方软件。 |
- |
|
委托 |
通过绑定委托，ECS或BMS云服务将有权限来管理集群的部分资源，请根据实际业务场景需求确认是否需要配置委托。
例如通过配置ECS委托可自动获取AK/SK访问OBS，实现集群的存算分离，具体请参见配置MRS集群通过IAM委托对接OBS。
如需为集群MRS集群绑定委托，需提前创建具有所需权限的IAM委托，系统默认生成了一个“MRS_ECS_DEFAULT_AGENCY”委托，该委托拥有对象存储服务的OBSOperateAccess权限和在集群所在区域拥有CESFullAccess（对开启细粒度策略的用户）、CES Administrator和KMS Administrator权限。 |
暂不绑定 |
|
指标共享 |
用于采集大数据组件的监控指标，当用户使用集群过程中出现问题时，供华为云支持人员定位问题。 |
关闭 |
|
系统盘加密 |
是否对MRS集群节点所挂载的系统盘中的数据进行加密，默认关闭。
加密系统盘使用的密钥由数据加密服务（DEW，Data Encryption Workshop）中密钥管理（KMS，Key Management Service）服务提供，无需您自行构建和维护密钥管理基础设施。如需开启该功能，当前用户必须拥有“Security Administrator”和“KMS Administrator”权限。
关于更多磁盘加密详情请参考云硬盘加密。
开启系统盘加密时，需配置以下参数：
|
关闭 |
|
数据盘加密 |
是否对MRS集群节点所挂载的数据盘中的数据进行加密，默认关闭。MRS 3.1.0及MRS 3.1.2-LTS.3版本不支持该功能。
关于更多磁盘加密详情请参考云硬盘加密。
加密系统盘使用的密钥由数据加密服务（DEW，Data Encryption Workshop）中密钥管理（KMS，Key Management Service）服务提供，无需您自行构建和维护密钥管理基础设施。如需开启该功能，当前用户必须拥有“Security Administrator”和“KMS Administrator”权限。
开启数据盘加密时，需配置以下参数：
|
关闭 |
|
告警 |
开启告警功能可在集群运行异常或系统故障时，及时通知集群维护人员定位问题。本功能需要配合消息通知服务（SMN）使用，开启后需要设置一个发送告警消息的规则名称并绑定SMN主题。
|
开启 |
|
安装UniAgent |
为MRS集群节点安装统一数据采集Agent（UniAgent），完成统一插件生命周期管理，并为AOM提供指令下发功能，如脚本下发和执行。
关于统一数据采集Agent更多详情请参考AOM采集管理。 |
否 |
|
日志记录 |
集群创建失败时，是否收集失败日志。
开启日志记录开关之后将自动收集集群创建失败、扩/缩容失败等场景下的系统日志及相关组件运行日志到OBS文件系统中，该日志用于运维人员快速定位问题。
该日志信息将最多保留7天。 |
关闭 |
创建MRS集群时手动添加Task节点组
当前MRS集群如需规划Task节点组进行弹性伸缩，在配置集群节点信息过程中，可参考以下步骤进行操作：
添加流式Task节点组：
对于集群类型为“流式集群”、“混合集群”且包含Storm组件的集群：
系统会自动添加流式Task节点组“task_node_streaming_group”，请根据实际需求设置节点数量、实例规格及节点磁盘配置。
若不需要该流式Task节点组，可手动删除。
查看MRS集群创建失败任务
如果集群创建失败后，失败任务会自动转入“失败任务管理”页面。
在集群列表页面单击
进入“失败任务管理”页面，在“任务状态”列中，将鼠标移动到任务状态上可以查看到失败原因。
MRS集群创建失败错误码列表如表6所示。
表6 错误码
|
错误码 |
说明 |
|
MRS.101 |
用户请求配额不足，请联系客服提升配额。 |
|
MRS.102 |
用户Token为空或不合法，请稍后重试或联系客服。 |
|
MRS.103 |
用户请求不合法，请稍后重试或联系客服。 |
|
MRS.104 |
用户资源不足，请稍后重试或联系客服。 |
|
MRS.105 |
现子网IP不足，请稍后重试或联系客服。 |
|
MRS.201 |
因ECS服务导致失败，请稍后重试或联系客服。 |
|
MRS.202 |
因IAM服务导致失败，请稍后重试或联系客服。 |
|
MRS.203 |
因VPC服务导致失败，请稍后重试或联系客服。 |
|
MRS.400 |
MRS内部出错，请稍后重试或联系客服。 |
