创建专属云MRS集群
本章节为您介绍如何在您的专属资源上创建一个MRS集群。
快速购买专属云MRS集群
- 进入购买MRS集群页面。
- 在购买集群页面,选择“快速购买”页签。
- 参考下列参数说明配置集群基本信息,参数详细信息请参考购买自定义集群。
- 区域:默认即可。
- 计费模式:根据需要选择“按需计费”或“包年/包月”模式。
- 购买时长:购买集群的时长,最短时长为1个月,最长时长为一年。
- 集群名称:可以设置为系统默认名称,但为了区分和记忆,建议带上项目拼音缩写或者日期等。
- 集群版本:默认选择最新版本即可(不同版本集群提供的组件有所不同,请根据需要选择集群版本)。
- 组件选择:根据需要选择“Hadoop分析集群”、“HBase查询集群”或“Kafka流式集群”。
- 磁盘类型:默认即可。MRS 3.x版本暂时没有该参数。
- 集群节点:请根据自身需要选择集群节点规格数量等。
- 用户名:默认为“root/admin”,root用于远程登录ECS机器,admin用于登录集群管理页面。
- 密码:设置root用户和admin用户密码。
- 确认密码:再次输入设置的root用户和admin用户密码。
- 单击“立即购买”。
如果您对价格有疑问,可以单击页面左下角“了解计费详情”,根据计费详情来了解产品价格。
- 单击“返回集群列表”,可以查看到集群创建的状态。
集群创建需要时间,所创集群的初始状态为“启动中”,创建成功后状态更新为“运行中”,请您耐心等待。
自定义购买专属云MRS集群
- 登录MRS管理控制台。
- 单击“购买集群”,进入“购买集群”页面。
- 在购买集群页面,选择“自定义购买”页签。
- 参考自定义购买集群软件配置配置集群信息后,单击“下一步”。
- 参考自定义购买集群硬件配置配置集群信息后,单击“下一步”。
- 参考自定义购买集群高级配置(可选)配置集群信息后,单击“立即购买”。
当集群开启Kerberos认证时,需要确认是否需要开启Kerberos认证,若确认开启请单击“继续”,若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。
如果您对价格有疑问,可以单击页面左下角“了解计费详情”,根据计费详情来了解产品价格。
- 单击“返回集群列表”,可以查看到集群创建的状态。
集群创建的状态过程请参见表1中的“状态”参数说明。
集群创建需要时间,所创集群的初始状态为“启动中”,创建成功后状态更新为“运行中”,请您耐心等待。
自定义购买集群软件配置
参数 |
参数说明 |
---|---|
区域 |
选择区域。 不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。 |
集群名称 |
集群名称不允许重复。 只能由字母、数字、中划线和下划线组成,并且长度为1~64个字符。 默认名称为mrs_xxxx,xxxx为字母和数字的四位随机组合数,系统自动组合。 |
集群版本 |
目前支持MRS 1.9.2、MRS 3.1.0版本。默认值为当前最新版本。 |
集群类型 |
提供几种集群类型:
说明:
MRS流式集群不支持“作业管理”和“文件管理”功能。 |
组件选择 |
MRS配套的组件如下,MRS不同版本集群支持的组件版本请参见MRS组件版本一览表:
分析集群组件
流式集群组件
|
使用外部数据源存储元数据 |
是否使用外部数据源存储元数据。通过单击开启该功能,当该功能开启时,若集群异常或删除时将不影响元数据,适用于存储计算分离的场景。 支持Hive或Ranger组件的集群支持该功能。 |
组件名 |
当“使用外部数据源存储元数据”功能开启时,该参数有效。用于表示可以设置外部数据源的组件类型。
|
数据连接类型 |
当“使用外部数据源存储元数据”功能开启时,该参数有效。用于表示外部数据源的类型。
|
数据连接实例 |
当“数据连接类型”选择“RDS服务PostgreSQL数据库”或“RDS服务MySQL数据库”时,该参数有效。用于表示MRS集群与RDS服务数据库连接的名称,该实例必选先创建才能在此处引用。可单击“创建数据连接”进行创建,具体请参考配置数据连接。 |
Kerberos认证 |
登录Manager管理页面时是否启用Kerberos认证。
通过单击或来关闭或开启Kerberos认证。 当选择Presto组件时不支持开启Kerberos认证。 |
用户名 |
Manager管理员用户,目前默认为admin用户。 |
密码 |
配置Manager管理员用户的密码。 需要满足:
安全程度:颜色条红、橙、绿分别表示密码安全强度弱、中、强。 |
确认密码 |
再次输入Manager管理员用户的密码。 |
自定义购买集群硬件配置
参数 |
参数说明 |
---|---|
计费模式 |
当前仅支持“包年/包月”模式。 |
购买时长 |
包年/包月模式下该参数有效,表示购买集群的时长。最短时长为1个月,最长时长为1年。 如需开通自动续费功能,请勾选“自动续费”,开通后按月购买的集群 自动续费周期为一个月,按年购买的集群自动续费周期为一年。 |
参数 |
参数说明 |
---|---|
可用区 |
选择集群工作区域下关联的可用区。 可用区是使用独立电源和网络资源的物理区域。通过内部网络互联,再以物理方式进行隔离,提高了应用程序的可用性。建议您在不同的可用区下创建集群。 |
虚拟私有云 |
VPC即虚拟私有云,是通过逻辑方式进行网络隔离,提供安全、隔离的网络环境。 选择需要创建集群的VPC,单击“查看虚拟私有云”进入VPC服务查看已创建的VPC名称和ID。如果没有VPC,需要创建一个新的VPC。 |
子网 |
通过子网提供与其他网络隔离的、可以独享的网络资源,以提高网络安全。 选择需要创建集群的子网,可进入VPC服务控制台查看VPC下已创建的子网名称和ID,若VPC下未创建子网,请在VPC服务控制台单击“创建子网”进行创建。 |
安全组 |
安全组是一组对弹性云服务器的访问规则的集合,为同一个VPC内具有相同安全保护需求并相互信任的弹性云服务器提供访问策略。 用户创建集群时,可自动创建安全组,也可选择下拉框中已有的安全组。
说明:
选择用户自己创建的安全组时,请确保入方向规则中有一条全部协议,全部端口,源地址为可信任的IP访问范围的规则,源地址请勿使用0.0.0.0/0,否则会有安全风险。若用户不清楚可信任的IP访问范围,请选择自动创建。 |
弹性公网IP |
通过将弹性公网IP与MRS集群绑定,实现使用弹性公网IP访问Manager的目的。 用户创建集群时,可选择下拉框中已有的弹性公网IP进行绑定。若下拉框中没有可选的弹性公网IP,可以单击“管理弹性公网IP”进入弹性公网IP服务进行购买。
说明:
弹性公网IP必须和集群在同一区域。 |
企业项目 |
选择集群所属的企业项目,如需使用企业项目,请先通过“企业管理 > 企业项目管理”服务创建。 企业项目所在的企业管理控制台以面向企业资源管理为出发点,帮助企业以公司、部门、项目等分级管理方式实现企业云上的人员、资源、权限、财务的管理。 |
参数 |
参数说明 |
---|---|
CPU架构 |
MRS提供的CPU架构类型。MRS 3.x版本无该参数。
|
磁盘类型 |
根据磁盘使用的存储资源是否独享,磁盘划分为“云硬盘”、“专属分布式存储”。 |
节点类型 |
MRS提供节点类型:
|
计费模式 |
MRS集群中节点的计费模式。
|
实例规格 |
选择主节点和核心节点的实例规格。MRS当前支持主机规格的配型由CPU+内存+Disk共同决定。支持的实例规格详细说明请参见MRS所使用的弹性云服务器规格。单击,配置集群节点的实例规格、系统盘和数据盘参数。
说明:
|
系统盘 |
节点系统盘的存储类型和存储空间。
存储类型:
|
数据盘 |
节点数据磁盘存储空间。为增大数据存储容量,创建集群时可同时添加磁盘,有如下应用场景:
目前支持的存储类型:
说明:
创建的节点个数越多,对管理节点(即master节点)的硬盘容量要求越高。为了保证集群能够健康地运行,当创建的节点个数达到300时,建议将master的硬盘容量配置成600GB以上;当创建的节点个数达到500时,建议将master的硬盘容量配置成1TB以上。 |
实例数量 |
配置各节点组内的节点个数。
说明:
过小的节点容量会导致您的集群运行缓慢,而过大的节点容量会产生不必要的成本,请根据您要处理的数据对集群节点数量进行调整。 |
LVM |
仅当创建流式Core节点时,该参数在流式Core节点有效。单击该参数以开启或关闭磁盘LVM管理。 启用逻辑卷管理(LVM)时,会将节点中所有磁盘以逻辑卷的方式挂载,能够更加合理的规划磁盘,避免磁盘不均匀的问题,提升系统的稳定性。 |
自定义购买集群高级配置(可选)
参数 |
参数说明 |
---|---|
标签 |
具体请参考添加集群/节点标签。 |
弹性伸缩 |
请在“硬件配置”页签指定Task节点的规格,然后参考配置弹性伸缩规则配置。 |
引导操作 |
具体请参考添加引导操作。 |
委托 |
通过绑定委托,您可以将部分资源共享给ECS或BMS云服务来管理,例如通过配置ECS委托可自动获取AK/SK访问OBS,具体请参见配置存算分离集群(委托方式)。 MRS_ECS_DEFAULT_AGENCY委托拥有对象存储服务的OBS OperateAccess权限和在集群所在区域拥有CES FullAccess(对开启细粒度策略的用户)、CES Administrator和KMS Administrator权限。 |
指标共享 |
用于采集大数据组件的监控指标,当用户使用集群过程中出现问题时,供华为云支持人员定位问题。 |
OBS权限控制 |
开启细粒度权限控制的用户可以通过该功能实现不同的MRS用户对OBS文件系统下的不同目录有不同的权限。具体请参见配置MRS多用户访问OBS细粒度权限。 |
数据盘加密 |
是否对集群挂载的数据盘中的数据进行加密,默认关闭。如需使用该功能,当前用户必须拥有“Security Administrator”和“KMS Administrator”权限。 加密数据盘使用的密钥由数据加密服务(DEW,Data Encryption Workshop)中的密钥管理(KMS,Key Management Service)功能提供,无需您自行构建和维护密钥管理基础设施,安全便捷。 通过单击“数据盘加密”开启或关闭数据盘加密功能,详情请参考云硬盘加密。 |
密钥ID |
当“数据盘加密”功能开启时,显示该参数。用于显示已选择的密钥名称对应的密钥ID。 |
密钥名称 |
当“数据盘加密”功能开启时,需要配置该参数。选择用来加密数据盘的密钥名称,默认选择密钥名称为“evs/default”的默认主密钥,在下拉框中可以选择其他用户主密钥。 使用用户主密钥加密云硬盘,若对用户主密钥执行禁用、计划删除等操作,将会导致云硬盘不可读写,甚至数据永远无法恢复,请谨慎操作。 单击“查看密钥列表”,进入密钥管理页面可以创建及管理密钥。 |
告警 |
开启告警功能可在集群运行异常或系统故障时,及时通知集群维护人员定位问题。 |
规则名称 |
用户自定义发送告警消息的规则名称,只能包含数字、英文字符、中划线和下划线。 |
主题名称 |
选择已创建的主题,也可以单击“创建主题”重新创建。新创建的主题请参考向主题添加订阅向该主题添加订阅者才能接收发布至主题的消息。 主题是发送消息和订阅通知的信道,为发布者和订阅者提供一个可以相互交流的通道。 |