文档首页/ MapReduce服务 MRS/ 用户指南（安卡拉区域）/ 配置集群/ 创建自定义集群
更新时间：2025-09-30 GMT+08:00
查看PDF
分享

创建自定义集群

使用MRS的首要操作就是创建集群，本章节为您介绍如何在MRS管理控制台自定义创建一个新的MRS集群。

注册账号后，如果需要对云上的资源进行精细管理，请使用IAM服务创建IAM用户及用户组，并授权，以使得IAM用户获得具体的操作权限，具体请参考创建MRS操作用户。

  1. 在创建集群页面，选择“自定义创建”页签。

    创建集群时需要注意配额提醒。当资源配额不足时，建议按照提示申请足够的资源，再创建集群。

  2. 参考软件配置配置集群信息后，单击“下一步”。

    部分区域仅支持一种计费方式，请以控制台实际方式为准。

  3. 参考硬件配置配置集群信息后，单击“下一步”。
  4. 参考高级配置配置集群信息后，单击“下一步”。

    当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。创建集群后，不支持修改。

  5. 在“确认配置”页面检查配置集群信息，如需调整配置，可单击，跳转到对应页签后重新设置参数。
  6. 勾选通信安全授权，通信安全授权详情请参考授权安全通信。
  7. 单击“返回集群列表”，可以查看到集群创建的状态。

    集群创建的状态过程请参见表1中的“状态”参数说明。

    集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。

    MRS系统界面支持同一时间并发创建10个集群，且最多支持管理100个集群。

软件配置

表1 MRS集群软件配置

参数

参数说明

区域

选择区域。

不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域，可减少网络时延，提高访问速度。

集群名称

集群名称不允许重复。

只能由字母、数字、中划线和下划线组成，并且长度为1～64个字符。

默认名称为mrs_xxxx，xxxx为字母和数字的四位随机组合数，系统自动组合。

集群类型
提供几种集群类型：
  • 分析集群：用来做离线数据分析，提供的是Hadoop体系的组件。
  • 流式集群：用来做流处理任务，提供的是流式处理组件。
  • 混合集群：既可以用来做离线数据分析，也可以用来做流处理任务，提供的是Hadoop体系的组件和流式处理组件。建议同时需要做离线数据分析和流处理任务时使用混合集群。
  • 自定义：用户可按照业务需求调整集群服务的部署方式，具体请参见创建自定义拓扑集群。
说明：
  • MRS流式集群不支持“作业管理”和“文件管理”功能。
  • 如需在集群中安装全部组件，请选择“自定义”类型集群。

版本类型

提供以下版本类型：

  • 普通版：
    • 支持集群基础操作，如配置、管理和运维。
    • 支持Presto、Impala、Kudu、Sqoop等组件。
  • LTS版：
    • 除支持集群基础操作外，还提供版本升级能力。
    • 支持多可用区部署。
    • 支持HetuEngine、IoTDB、CDL组件。

默认版本类型为普通版。

集群版本

MRS目前支持MRS 3.3.1-LTS版本。

组件选择

MRS集群配套的组件。

元数据

是否使用外部数据源存储元数据。

  • 本地元数据： 元数据存储在集群本地。
  • 外置数据连接：使用外部数据源元数据，若集群异常或删除时将不影响元数据，适用于存储计算分离的场景。

支持Hive或Ranger组件的集群支持该功能。

组件名

当“元数据”选择“外置数据连接”时该参数有效。用于表示可以设置外部数据源的组件类型。

  • Hive
  • Ranger

数据连接类型

当“元数据”选择“外置数据连接”时该参数有效。用于表示外部数据源的类型。创建集群时“数据连接类型”仅支持“本地数据库”。

组件端口（目前仅LTS版本支持）

当前MRS集群内各组件默认通讯端口值的策略。

  • 开源：组件的默认通讯端口遵循开源社区的规范不做修改，与开源社区保持一致。
  • 定制：组件的默认通讯端口与开源社区不一致。

开源默认端口与定制默认端口区别请参考开源组件Web站点。

硬件配置

表2 MRS集群硬件配置

参数

参数说明

可用区

选择集群工作区域下关联的可用区。

可用区是使用独立电源和网络资源的物理区域。通过内部网络互联，再以物理方式进行隔离，提高了应用程序的可用性。建议您在不同的可用区下创建集群。

企业项目

选择集群所属的企业项目，如需使用企业项目，请先通过“企业 > 项目管理”服务创建。

企业项目所在的企业管理控制台以面向企业资源管理为出发点，帮助企业以公司、部门、项目等分级管理方式实现企业云上的人员、资源、权限、财务的管理。

虚拟私有云

VPC即虚拟私有云，是通过逻辑方式进行网络隔离，提供安全、隔离的网络环境。

选择需要创建集群的VPC，单击“查看虚拟私有云”进入VPC服务查看已创建的VPC名称和ID。如果没有VPC，需要创建一个新的VPC。

子网

通过子网提供与其他网络隔离的、可以独享的网络资源，以提高网络安全。

选择需要创建集群的子网，单击“查看子网”可查看所选子网的详细信息，若VPC下未创建子网，请在VPC服务控制台单击“创建子网”进行创建。网络ACL出规则配置请参考如何配置网络ACL出规则？。

说明：

创建MRS 集群需要的IP数量和集群节点和组件个数相关，集群类型不影响IP数量。

MRS集群部署默认需要的IP数量为：集群节点数量+2（Manager+DB），如果部署集群时选择Hadoop、Hue、Sqoop或Loader、Presto、Solr、GraphBase组件，则每一个组件需要再加一个IP。若单独创建ClickHouse集群则需要的IP数量为：集群节点数量+1（Manager）。

安全组

安全组是一组对弹性云服务器的访问规则的集合，为同一个VPC内具有相同安全保护需求并相互信任的弹性云服务器提供访问策略。

用户创建集群时，可自动创建安全组，也可选择下拉框中已有的安全组。

说明：

选择用户自己创建的安全组时，请确保入方向规则中有一条全部协议，全部端口，源地址为可信任的IP访问范围的规则，源地址请勿使用0.0.0.0/0，否则会有安全风险。若用户不清楚可信任的IP访问范围，请选择自动创建。

弹性公网IP

通过将弹性公网IP与MRS集群绑定，实现使用弹性公网IP访问Manager的目的。

用户创建集群时，可选择下拉框中已有的弹性公网IP进行绑定。若下拉框中没有可选的弹性公网IP，可以单击“管理弹性公网IP”进入弹性公网IP服务进行创建。

说明：

弹性公网IP必须和集群在同一区域。
表3 集群节点信息

参数

参数说明

CPU架构

MRS提供的CPU架构类型。

  • x86计算：x86 CPU架构采用复杂指令集（CISC），CISC指令集的每个小指令可以执行一些较低阶的硬件操作，指令数目多而且复杂，每条指令的长度并不相同。由于指令执行较为复杂所以每条指令花费的时间较长。
  • 鲲鹏计算：鲲鹏CPU架构采用精简指令集（RISC），RISC是一种执行较少类型计算机指令的微处理器，它能够以更快的速度执行操作，使计算机的结构更加简单合理地提高运行速度，相对于x86 CPU架构具有更加均衡的性能功耗比。鲲鹏的优势是高密度低功耗，可以提供更高的性价比。

常用模板

当“集群类型”选择“自定义”时该参数有效，常用模板包含“管控合设”、“数据分设”和“管控分设”，具体详情请参考自定义集群模板说明选择。

节点组名称

设置节点组的显示名称。

MRS集群由多个弹性云服务器节点组成，根据节点的不同规格，系统以节点组的方式进行管理。

根据节点上部署的组件角色的不同，集群内的节点类型分为以下几类：

  • Master：负责管理集群，协调将集群可执行文件分配到Core节点。此外，还会跟踪每个作业的执行状态，监控DataNode的运行状况。
  • Core：集群工作节点，负责处理和分析数据，并存储过程数据。

    系统会根据集群所包含的组件自动创建对应Core节点组，例如当选择“ClickHouse”组件时，系统会添加ClickHouse节点组，并在该节点组默认部署ClickHouseServer角色。

  • Task：提供计算资源，主要安装Yarn、Storm组件，不存放持久数据，集群计算资源不足时可通过配置弹性伸缩策略实现自动增减。

    当集群数据量变化不大而集群业务处理能力需求变化比较大，大的业务处理能力只是临时需要，此时可选择添加Task节点。

    对于集群类型为“分析集群”、“流式集群”、“混合集群”的集群，系统会自动添加对应的Task节点组，若不需要可手动删除。

节点类型
选择Core或者Task节点组。
说明：

创建集群如果指定节点组类型为Task，则该节点组仅能部署NodeManager角色（除节点必备角色外）。

节点数

配置各节点组内的节点个数。

  • Master节点组：Master实例数量最少3个，最多不超过9个。
  • Core节点至少存在一个，Core节点和Task节点的数量之和不能超过10000个。

    可以单击添加节点组，单击修改节点的实例规格，单击删除已添加的节点组。

说明：

过小的节点容量会导致您的集群运行缓慢，而过大的节点容量会产生不必要的成本，请根据您要处理的数据对集群节点数量进行调整。

实例规格

选择主节点和核心节点的实例规格。MRS当前支持主机规格的配型由CPU+内存+Disk共同决定。单击，配置集群节点的实例规格、系统盘和数据盘参数。

说明：
  • 节点的实例规格配置越高，数据处理分析能力越强。
  • 不同可用区内的实例规格可能有差异，如果当前可用区下的实例规格不满足需求，可尝试切换其他可用区。
  • 当Core节点规格选择非HDD磁盘时，Master节点和Core节点的磁盘类型取决于数据磁盘。
  • 集群Master节点规格不能小于64GB。

系统盘

节点系统盘的存储类型和存储空间。

存储类型：
  • SAS：高IO
  • SSD：超高IO
  • GPSSD：通用型SSD

数据盘

节点数据磁盘存储空间。为增大数据存储容量，创建集群时可同时添加磁盘，每个Core或者Task节点最多支持添加10块磁盘，有如下应用场景：

  • 数据存储和计算分离，数据存储在OBS中，集群存储成本低，存储量不受限制，并且集群可以随时删除，但计算性能取决于OBS访问性能，相对HDFS有所下降，建议在数据计算不频繁场景下使用。
  • 数据存储和计算不分离，数据存储在HDFS中，集群成本较高，计算性能高，但存储量受磁盘空间限制，删除集群前需将数据导出保存，建议在数据计算频繁场景下使用。

目前的存储类型：

  • SAS：高IO
  • SSD：超高IO
  • GPSSD：通用型SSD
说明：

创建的节点个数越多，对管理节点（即master节点）的硬盘容量要求越高。为了保证集群能够健康地运行，当创建的节点个数达到300时，建议将master的硬盘容量配置成600GB以上；当创建的节点个数达到500时，建议将master的硬盘容量配置成1TB以上。

实例数量

配置主节点和核心节点的个数。

  • Master节点组：Master实例数量最少3个，最多不超过9个。
  • Core节点至少存在一个，Core节点和Task节点的数量之和不能超过10000个。

    可以单击添加节点组，单击修改节点的实例规格，单击删除已添加的节点组。

说明：

过小的节点容量会导致您的集群运行缓慢，而过大的节点容量会产生不必要的成本，请根据您要处理的数据对集群节点数量进行调整。

拓扑调整

当常用模板中的部署方式不满足需求，请设置“拓扑调整”为“开启”，然后根据业务需要调整实例部署方式，具体说明请参见自定义集群拓扑调整说明。当集群类型为“自定义”时该参数有效。

高级配置

表4 MRS集群高级配置拓扑

参数

参数说明

Kerberos认证

登录Manager管理页面时是否启用Kerberos认证。创建集群后，不支持修改。

  • ：“Kerberos认证”关闭时，普通用户可使用MRS集群的所有功能。建议单用户场景下使用。不启用Kerberos认证时的安全配置建议请参见集群（未启用Kerberos认证）安全配置建议。
  • ：“Kerberos认证”开启时，普通用户无权限使用MRS集群的“文件管理”和“作业管理”功能，并且无法查看Hadoop、Spark的作业记录以及集群资源使用情况。如果需要使用集群更多功能，需要找Manager的管理员分配权限。建议在多用户场景下使用。
  • Presto组件目前不支持开启Kerberos认证。

用户名

Manager管理员用户，目前默认为admin用户。

密码

配置Manager管理员用户的密码。

需要满足：

  • 密码长度应在8～26个字符之间
  • 必须包含如下4种字符的组合
    • 至少一个小写字母
    • 至少一个大写字母
    • 至少一个数字
    • 至少一个特殊字符：`~!@#$%^&*()-_=+|[{}];:',<.>/?
  • 不能和用户名或倒序的用户名相同

安全程度：颜色条红、橙、绿分别表示密码安全强度弱、中、强。

确认密码

再次输入Manager管理员用户的密码。

登录方式
  • 密码

    使用root用户密码方式登录ECS节点。输入root用户密码，并确认密码。

    密码设置约束如下：

    1. 字符串类型，可输入的字符串长度为8~26。
    2. 至少包含四种字符组合，如大写字母，小写字母，数字，特殊字符（`~!@#$%^&*()-_=+|[{}];:',<.>/?）。
    3. 不能与用户名或倒序用户名相同。
  • 密钥对

    使用密钥方式登录集群ECS节点。从下拉框中选择密钥对，如果已获取私钥文件，请勾选“我确认已获取该密钥对中的私钥文件SSHkey-xxx，否则无法登录弹性云服务器”。如果没有创建密钥对，请单击“查看密钥对”创建或导入密钥，然后再获取私钥文件。

    密钥对即SSH密钥，包含SSH公钥和私钥。您可以新建一个SSH密钥，并下载私钥用于远程登录身份认证。为保证安全，私钥只能下载一次，请妥善保管。

    您可以通过以下两种方式中的任意一种使用SSH密钥。

    1. 创建SSH密钥：创建SSH密钥，同时会创建公钥和私钥，公钥保存在ECS系统中，私钥保存在用户本机。当登录弹性云服务器时，使用公钥和私钥进行鉴权。
    2. 导入SSH密钥：当用户已有公钥和私钥，可以选择将公钥导入系统。当登录弹性云服务器时，使用公钥和私钥进行鉴权。

主机名前缀

用作集群中ECS机器主机名的前缀。

高级配置

MRS集群相关高级功能参数，勾选“现在配置”后进行配置，具体请参考表5。
表5 MRS集群高级配置信息（可选）

参数

参数说明

标签

具体请参考添加集群/节点标签。

弹性伸缩

请在“硬件配置”页签指定Task节点的规格，然后参考配置弹性伸缩规则配置。

引导操作

具体请参考添加引导操作。

委托

通过绑定委托，ECS或BMS云服务将有权限来管理您的部分资源，请根据实际业务场景需求确认是否需要配置委托。

例如通过配置ECS委托可自动获取AK/SK访问OBS，具体请参见配置存算分离集群（委托方式）。

MRS_ECS_DEFAULT_AGENCY委托拥有对象存储服务的OBSOperateAccess权限和在集群所在区域拥有CESFullAccess（对开启细粒度策略的用户）、CES Administrator和KMS Administrator权限。

数据盘加密

是否对集群挂载的数据盘中的数据进行加密，默认关闭。如需使用该功能，当前用户必须拥有“Security Administrator”和“KMS Administrator”权限。

加密数据盘使用的密钥由数据加密服务（DEW，Data Encryption Workshop）中的密钥管理（KMS，Key Management Service）功能提供，无需您自行构建和维护密钥管理基础设施，安全便捷。

通过单击“数据盘加密”开启或关闭数据盘加密功能。

数据盘密钥ID

当“数据盘加密”功能开启时，显示该参数。用于显示已选择的密钥名称对应的密钥ID。

数据盘密钥名称

当“数据盘加密”功能开启时，需要配置该参数。选择用来加密数据盘的密钥名称，默认选择密钥名称为“evs/default”的默认主密钥，在下拉框中可以选择其他用户主密钥。

使用用户主密钥加密云硬盘，若对用户主密钥执行禁用、计划删除等操作，将会导致云硬盘不可读写，甚至数据永远无法恢复，请谨慎操作。

单击“查看密钥列表”，进入密钥管理页面可以创建及管理密钥。

告警

开启告警功能可在集群运行异常或系统故障时，及时通知集群维护人员定位问题。

规则名称

用户自定义发送告警消息的规则名称，只能包含数字、英文字符、中划线和下划线。

主题名称

选择已创建的主题，也可以单击“创建主题”重新创建。新创建的主题请参考向主题添加订阅向该主题添加订阅者才能接收发布至主题的消息。

主题是发送消息和订阅通知的信道，为发布者和订阅者提供一个可以相互交流的通道。

日志记录

集群创建失败时，是否收集失败日志。

开启日志记录开关之后将自动收集集群创建失败、扩/缩容失败等场景下的系统日志及相关组件运行日志到OBS文件系统中，该日志用于运维人员快速定位问题。该日志信息将最多保留7天。

集群创建失败

如果集群创建失败后，失败任务会自动转入“失败任务管理”页面。选择“集群列表 > 现有集群”，单击进入“失败任务管理”页面，在“任务状态”列中，将鼠标移动到上可以查看到失败原因。可以参见查看失败的集群操作任务章节删除失败任务。

MRS集群创建失败错误码列表如表6所示。

表6 错误码

错误码

说明

MRS.101

用户请求配额不足，请联系客服提升配额。

MRS.102

用户Token为空或不合法，请稍后重试或联系管理员。

MRS.103

用户请求不合法，请稍后重试或联系管理员。

MRS.104

用户资源不足，请稍后重试或联系管理员。

MRS.105

现子网IP不足，请稍后重试或联系管理员。

MRS.201

因ECS服务导致失败，请稍后重试或联系管理员。

MRS.202

因IAM服务导致失败，请稍后重试或联系管理员。

MRS.203

因VPC服务导致失败，请稍后重试或联系管理员。

MRS.400

MRS内部出错，请稍后重试或联系管理员。
父主题： 配置集群