计算
弹性云服务器 ECS
Flexus云服务
裸金属服务器 BMS
弹性伸缩 AS
镜像服务 IMS
专属主机 DeH
函数工作流 FunctionGraph
云手机服务器 CPH
Huawei Cloud EulerOS
网络
虚拟私有云 VPC
弹性公网IP EIP
虚拟专用网络 VPN
弹性负载均衡 ELB
NAT网关 NAT
云专线 DC
VPC终端节点 VPCEP
云连接 CC
企业路由器 ER
企业交换机 ESW
全球加速 GA
安全与合规
安全技术与应用
Web应用防火墙 WAF
企业主机安全 HSS
云防火墙 CFW
安全云脑 SecMaster
DDoS防护 AAD
数据加密服务 DEW
数据库安全服务 DBSS
云堡垒机 CBH
数据安全中心 DSC
云证书管理服务 CCM
边缘安全 EdgeSec
威胁检测服务 MTD
CDN与智能边缘
内容分发网络 CDN
CloudPond云服务
智能边缘云 IEC
迁移
主机迁移服务 SMS
对象存储迁移服务 OMS
云数据迁移 CDM
迁移中心 MGC
大数据
MapReduce服务 MRS
数据湖探索 DLI
表格存储服务 CloudTable
云搜索服务 CSS
数据接入服务 DIS
数据仓库服务 GaussDB(DWS)
数据治理中心 DataArts Studio
数据可视化 DLV
数据湖工厂 DLF
湖仓构建 LakeFormation
企业应用
云桌面 Workspace
应用与数据集成平台 ROMA Connect
云解析服务 DNS
专属云
专属计算集群 DCC
IoT物联网
IoT物联网
设备接入 IoTDA
智能边缘平台 IEF
用户服务
账号中心
费用中心
成本中心
资源中心
企业管理
工单管理
国际站常见问题
ICP备案
我的凭证
支持计划
客户运营能力
合作伙伴支持计划
专业服务
区块链
区块链服务 BCS
Web3节点引擎服务 NES
解决方案
SAP
高性能计算 HPC
视频
视频直播 Live
视频点播 VOD
媒体处理 MPC
实时音视频 SparkRTC
数字内容生产线 MetaStudio
存储
对象存储服务 OBS
云硬盘 EVS
云备份 CBR
存储容灾服务 SDRS
高性能弹性文件服务 SFS Turbo
弹性文件服务 SFS
云硬盘备份 VBS
云服务器备份 CSBS
数据快递服务 DES
专属分布式存储服务 DSS
容器
云容器引擎 CCE
容器镜像服务 SWR
应用服务网格 ASM
华为云UCS
云容器实例 CCI
管理与监管
云监控服务 CES
统一身份认证服务 IAM
资源编排服务 RFS
云审计服务 CTS
标签管理服务 TMS
云日志服务 LTS
配置审计 Config
资源访问管理 RAM
消息通知服务 SMN
应用运维管理 AOM
应用性能管理 APM
组织 Organizations
优化顾问 OA
IAM 身份中心
云运维中心 COC
资源治理中心 RGC
应用身份管理服务 OneAccess
数据库
云数据库 RDS
文档数据库服务 DDS
数据管理服务 DAS
数据复制服务 DRS
云数据库 GeminiDB
云数据库 GaussDB
分布式数据库中间件 DDM
数据库和应用迁移 UGO
云数据库 TaurusDB
人工智能
人脸识别服务 FRS
图引擎服务 GES
图像识别 Image
内容审核 Moderation
文字识别 OCR
AI开发平台ModelArts
图像搜索 ImageSearch
对话机器人服务 CBS
华为HiLens
视频智能分析服务 VIAS
语音交互服务 SIS
应用中间件
分布式缓存服务 DCS
API网关 APIG
微服务引擎 CSE
分布式消息服务Kafka版
分布式消息服务RabbitMQ版
分布式消息服务RocketMQ版
多活高可用服务 MAS
事件网格 EG
企业协同
华为云会议 Meeting
云通信
消息&短信 MSGSMS
云生态
合作伙伴中心
云商店
开发者工具
SDK开发指南
API签名指南
Terraform
华为云命令行工具服务 KooCLI
其他
产品价格详情
系统权限
管理控制台
客户关联华为云合作伙伴须知
消息中心
公共问题
开发与运维
应用管理与运维平台 ServiceStage
软件开发生产线 CodeArts
需求管理 CodeArts Req
部署 CodeArts Deploy
性能测试 CodeArts PerfTest
编译构建 CodeArts Build
流水线 CodeArts Pipeline
制品仓库 CodeArts Artifact
测试计划 CodeArts TestPlan
代码检查 CodeArts Check
代码托管 CodeArts Repo
云应用引擎 CAE
开天aPaaS
云消息服务 KooMessage
云手机服务 KooPhone
云空间服务 KooDrive

创建自定义集群

更新时间:2024-11-29 GMT+08:00

使用MRS的首要操作就是创建集群,本章节为您介绍如何在MRS管理控制台自定义创建一个新的MRS集群。

注册账号后,如果需要对云上的资源进行精细管理,请使用IAM服务创建IAM用户及用户组,并授权,以使得IAM用户获得具体的操作权限,具体请参考创建MRS操作用户

  1. 在创建集群页面,选择“自定义创建”页签。

    说明:

    创建集群时需要注意配额提醒。当资源配额不足时,建议按照提示申请足够的资源,再创建集群。

  2. 参考软件配置配置集群信息后,单击“下一步”。

    说明:

    部分区域仅支持一种计费方式,请以控制台实际方式为准。

  3. 参考硬件配置配置集群信息后,单击“下一步”。
  4. 参考高级配置配置集群信息后,单击“下一步”。

    当集群开启Kerberos认证时,需要确认是否需要开启Kerberos认证,若确认开启请单击“继续”,若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。创建集群后,不支持修改。

  5. 在“确认配置”页面检查配置集群信息,如需调整配置,可单击,跳转到对应页签后重新设置参数。
  6. 勾选通信安全授权,通信安全授权详情请参考授权安全通信
  7. 单击“返回集群列表”,可以查看到集群创建的状态。

    集群创建的状态过程请参见表1中的“状态”参数说明。

    集群创建需要时间,所创集群的初始状态为“启动中”,创建成功后状态更新为“运行中”,请您耐心等待。

    MRS系统界面支持同一时间并发创建10个集群,且最多支持管理100个集群。

软件配置

表1 MRS集群软件配置

参数

参数说明

区域

选择区域。

不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。

集群名称

集群名称不允许重复。

只能由字母、数字、中划线和下划线组成,并且长度为1~64个字符。

默认名称为mrs_xxxx,xxxx为字母和数字的四位随机组合数,系统自动组合。

集群类型

提供几种集群类型:
  • 分析集群:用来做离线数据分析,提供的是Hadoop体系的组件。
  • 流式集群:用来做流处理任务,提供的是流式处理组件。
  • 混合集群:既可以用来做离线数据分析,也可以用来做流处理任务,提供的是Hadoop体系的组件和流式处理组件。建议同时需要做离线数据分析和流处理任务时使用混合集群。
  • 自定义:用户可按照业务需求调整集群服务的部署方式,具体请参见创建自定义拓扑集群
说明:
  • MRS流式集群不支持“作业管理”“文件管理”功能
  • 如需在集群中安装全部组件,请选择“自定义”类型集群。

版本类型

提供以下版本类型:

  • 普通版:
    • 支持集群基础操作,如配置、管理和运维。
    • 支持Presto、Impala、Kudu、Sqoop等组件。
  • LTS版:
    • 除支持集群基础操作外,还提供版本升级能力。
    • 支持多可用区部署。
    • 支持HetuEngine、IoTDB、CDL组件。

默认版本类型为普通版。

集群版本

MRS目前支持MRS 3.3.1-LTS版本。

组件选择

MRS集群配套的组件。

元数据

是否使用外部数据源存储元数据。

  • 本地元数据: 元数据存储在集群本地。
  • 外置数据连接:使用外部数据源元数据,若集群异常或删除时将不影响元数据,适用于存储计算分离的场景。

支持Hive或Ranger组件的集群支持该功能。

组件名

当“元数据”选择“外置数据连接”时该参数有效。用于表示可以设置外部数据源的组件类型。

  • Hive
  • Ranger

数据连接类型

当“元数据”选择“外置数据连接”时该参数有效。用于表示外部数据源的类型。创建集群时“数据连接类型”仅支持“本地数据库”。

组件端口(目前仅LTS版本支持)

当前MRS集群内各组件默认通讯端口值的策略。

  • 开源:组件的默认通讯端口遵循开源社区的规范不做修改,与开源社区保持一致。
  • 定制:组件的默认通讯端口与开源社区不一致。

开源默认端口与定制默认端口区别请参考开源组件Web站点

硬件配置

表2 MRS集群硬件配置

参数

参数说明

可用区

选择集群工作区域下关联的可用区。

可用区是使用独立电源和网络资源的物理区域。通过内部网络互联,再以物理方式进行隔离,提高了应用程序的可用性。建议您在不同的可用区下创建集群。

企业项目

选择集群所属的企业项目,如需使用企业项目,请先通过“企业 > 项目管理”服务创建。

企业项目所在的企业管理控制台以面向企业资源管理为出发点,帮助企业以公司、部门、项目等分级管理方式实现企业云上的人员、资源、权限、财务的管理。

虚拟私有云

VPC即虚拟私有云,是通过逻辑方式进行网络隔离,提供安全、隔离的网络环境。

选择需要创建集群的VPC,单击“查看虚拟私有云”进入VPC服务查看已创建的VPC名称和ID。如果没有VPC,需要创建一个新的VPC。

子网

通过子网提供与其他网络隔离的、可以独享的网络资源,以提高网络安全。

选择需要创建集群的子网,单击“查看子网”可查看所选子网的详细信息,若VPC下未创建子网,请在VPC服务控制台单击“创建子网”进行创建。网络ACL出规则配置请参考如何配置网络ACL出规则?

说明:

创建MRS 集群需要的IP数量和集群节点和组件个数相关,集群类型不影响IP数量。

MRS集群部署默认需要的IP数量为:集群节点数量+2(Manager+DB),如果部署集群时选择Hadoop、Hue、Sqoop或Loader、Presto、Solr、GraphBase组件,则每一个组件需要再加一个IP。若单独创建ClickHouse集群则需要的IP数量为:集群节点数量+1(Manager)。

安全组

安全组是一组对弹性云服务器的访问规则的集合,为同一个VPC内具有相同安全保护需求并相互信任的弹性云服务器提供访问策略。

用户创建集群时,可自动创建安全组,也可选择下拉框中已有的安全组。

说明:

选择用户自己创建的安全组时,请确保入方向规则中有一条全部协议,全部端口,源地址为可信任的IP访问范围的规则,源地址请勿使用0.0.0.0/0,否则会有安全风险。若用户不清楚可信任的IP访问范围,请选择自动创建。

弹性公网IP

通过将弹性公网IP与MRS集群绑定,实现使用弹性公网IP访问Manager的目的。

用户创建集群时,可选择下拉框中已有的弹性公网IP进行绑定。若下拉框中没有可选的弹性公网IP,可以单击“管理弹性公网IP”进入弹性公网IP服务进行创建。

说明:

弹性公网IP必须和集群在同一区域。

表3 集群节点信息

参数

参数说明

CPU架构

MRS提供的CPU架构类型。

  • x86计算:x86 CPU架构采用复杂指令集(CISC),CISC指令集的每个小指令可以执行一些较低阶的硬件操作,指令数目多而且复杂,每条指令的长度并不相同。由于指令执行较为复杂所以每条指令花费的时间较长。
  • 鲲鹏计算:鲲鹏CPU架构采用精简指令集(RISC),RISC是一种执行较少类型计算机指令的微处理器,它能够以更快的速度执行操作,使计算机的结构更加简单合理地提高运行速度,相对于x86 CPU架构具有更加均衡的性能功耗比。鲲鹏的优势是高密度低功耗,可以提供更高的性价比。

常用模板

当“集群类型”选择“自定义”时该参数有效,常用模板包含“管控合设”、“数据分设”和“管控分设”,具体详情请参考自定义集群模板说明选择。

节点组名称

设置节点组的显示名称。

MRS集群由多个弹性云服务器节点组成,根据节点的不同规格,系统以节点组的方式进行管理。

根据节点上部署的组件角色的不同,集群内的节点类型分为以下几类:

  • Master:负责管理集群,协调将集群可执行文件分配到Core节点。此外,还会跟踪每个作业的执行状态,监控DataNode的运行状况。
  • Core:集群工作节点,负责处理和分析数据,并存储过程数据。

    系统会根据集群所包含的组件自动创建对应Core节点组,例如当选择“ClickHouse”组件时,系统会添加ClickHouse节点组,并在该节点组默认部署ClickHouseServer角色。

  • Task:提供计算资源,主要安装Yarn、Storm组件,不存放持久数据,集群计算资源不足时可通过配置弹性伸缩策略实现自动增减。

    当集群数据量变化不大而集群业务处理能力需求变化比较大,大的业务处理能力只是临时需要,此时可选择添加Task节点。

    对于集群类型为“分析集群”、“流式集群”、“混合集群”的集群,系统会自动添加对应的Task节点组,若不需要可手动删除。

节点类型

选择Core或者Task节点组。
说明:

创建集群如果指定节点组类型为Task,则该节点组仅能部署NodeManager角色(除节点必备角色外)。

节点数

配置各节点组内的节点个数。

  • Master节点组:Master实例数量最少3个,最多不超过9个。
  • Core节点至少存在一个,Core节点和Task节点的数量之和不能超过10000个。

    可以单击添加节点组,单击修改节点的实例规格,单击删除已添加的节点组。

说明:

过小的节点容量会导致您的集群运行缓慢,而过大的节点容量会产生不必要的成本,请根据您要处理的数据对集群节点数量进行调整。

实例规格

选择主节点和核心节点的实例规格。MRS当前支持主机规格的配型由CPU+内存+Disk共同决定。单击,配置集群节点的实例规格、系统盘和数据盘参数。

说明:
  • 节点的实例规格配置越高,数据处理分析能力越强。
  • 不同可用区内的实例规格可能有差异,如果当前可用区下的实例规格不满足需求,可尝试切换其他可用区。
  • 当Core节点规格选择非HDD磁盘时,Master节点和Core节点的磁盘类型取决于数据磁盘。
  • 集群Master节点规格不能小于64GB。

系统盘

节点系统盘的存储类型和存储空间。

存储类型:
  • SAS:高IO
  • SSD:超高IO
  • GPSSD:通用型SSD

数据盘

节点数据磁盘存储空间。为增大数据存储容量,创建集群时可同时添加磁盘,每个Core或者Task节点最多支持添加10块磁盘,有如下应用场景:

  • 数据存储和计算分离,数据存储在OBS中,集群存储成本低,存储量不受限制,并且集群可以随时删除,但计算性能取决于OBS访问性能,相对HDFS有所下降,建议在数据计算不频繁场景下使用。
  • 数据存储和计算不分离,数据存储在HDFS中,集群成本较高,计算性能高,但存储量受磁盘空间限制,删除集群前需将数据导出保存,建议在数据计算频繁场景下使用。

目前的存储类型:

  • SAS:高IO
  • SSD:超高IO
  • GPSSD:通用型SSD
说明:

创建的节点个数越多,对管理节点(即master节点)的硬盘容量要求越高。为了保证集群能够健康地运行,当创建的节点个数达到300时,建议将master的硬盘容量配置成600GB以上;当创建的节点个数达到500时,建议将master的硬盘容量配置成1TB以上。

实例数量

配置主节点和核心节点的个数。

  • Master节点组:Master实例数量最少3个,最多不超过9个。
  • Core节点至少存在一个,Core节点和Task节点的数量之和不能超过10000个。

    可以单击添加节点组,单击修改节点的实例规格,单击删除已添加的节点组。

说明:

过小的节点容量会导致您的集群运行缓慢,而过大的节点容量会产生不必要的成本,请根据您要处理的数据对集群节点数量进行调整。

拓扑调整

当常用模板中的部署方式不满足需求,请设置“拓扑调整”为“开启”,然后根据业务需要调整实例部署方式,具体说明请参见自定义集群拓扑调整说明。当集群类型为“自定义”时该参数有效。

高级配置

表4 MRS集群高级配置拓扑

参数

参数说明

Kerberos认证

登录Manager管理页面时是否启用Kerberos认证。创建集群后,不支持修改。

  • “Kerberos认证”关闭时,普通用户可使用MRS集群的所有功能。建议单用户场景下使用。不启用Kerberos认证时的安全配置建议请参见集群(未启用Kerberos认证)安全配置建议
  • “Kerberos认证”开启时,普通用户无权限使用MRS集群的文件管理作业管理功能,并且无法查看Hadoop、Spark的作业记录以及集群资源使用情况。如果需要使用集群更多功能,需要找Manager的管理员分配权限。建议在多用户场景下使用。
  • Presto组件目前不支持开启Kerberos认证。

用户名

Manager管理员用户,目前默认为admin用户。

密码

配置Manager管理员用户的密码。

需要满足:

  • 密码长度应在8~26个字符之间
  • 必须包含如下4种字符的组合
    • 至少一个小写字母
    • 至少一个大写字母
    • 至少一个数字
    • 至少一个特殊字符:`~!@#$%^&*()-_=+|[{}];:',<.>/?
  • 不能和用户名或倒序的用户名相同

安全程度:颜色条红、橙、绿分别表示密码安全强度弱、中、强。

确认密码

再次输入Manager管理员用户的密码。

登录方式

  • 密码

    使用root用户密码方式登录ECS节点。输入root用户密码,并确认密码。

    密码设置约束如下:

    1. 字符串类型,可输入的字符串长度为8~26。
    2. 至少包含四种字符组合,如大写字母,小写字母,数字,特殊字符(`~!@#$%^&*()-_=+|[{}];:',<.>/?)。
    3. 不能与用户名或倒序用户名相同。
  • 密钥对

    使用密钥方式登录集群ECS节点。从下拉框中选择密钥对,如果已获取私钥文件,请勾选“我确认已获取该密钥对中的私钥文件SSHkey-xxx,否则无法登录弹性云服务器”。如果没有创建密钥对,请单击“查看密钥对”创建或导入密钥,然后再获取私钥文件。

    密钥对即SSH密钥,包含SSH公钥和私钥。您可以新建一个SSH密钥,并下载私钥用于远程登录身份认证。为保证安全,私钥只能下载一次,请妥善保管。

    您可以通过以下两种方式中的任意一种使用SSH密钥。

    1. 创建SSH密钥:创建SSH密钥,同时会创建公钥和私钥,公钥保存在ECS系统中,私钥保存在用户本机。当登录弹性云服务器时,使用公钥和私钥进行鉴权。
    2. 导入SSH密钥:当用户已有公钥和私钥,可以选择将公钥导入系统。当登录弹性云服务器时,使用公钥和私钥进行鉴权。

主机名前缀

用作集群中ECS机器主机名的前缀。

高级配置

MRS集群相关高级功能参数,勾选“现在配置”后进行配置,具体请参考表5

表5 MRS集群高级配置信息(可选)

参数

参数说明

标签

具体请参考添加集群/节点标签

弹性伸缩

请在“硬件配置”页签指定Task节点的规格,然后参考配置弹性伸缩规则配置。

引导操作

具体请参考添加引导操作

委托

通过绑定委托,ECS或BMS云服务将有权限来管理您的部分资源,请根据实际业务场景需求确认是否需要配置委托。

例如通过配置ECS委托可自动获取AK/SK访问OBS,具体请参见配置存算分离集群(委托方式)

MRS_ECS_DEFAULT_AGENCY委托拥有对象存储服务的OBSOperateAccess权限和在集群所在区域拥有CESFullAccess(对开启细粒度策略的用户)、CES Administrator和KMS Administrator权限。

数据盘加密

是否对集群挂载的数据盘中的数据进行加密,默认关闭。如需使用该功能,当前用户必须拥有“Security Administrator”和“KMS Administrator”权限。

加密数据盘使用的密钥由数据加密服务(DEW,Data Encryption Workshop)中的密钥管理(KMS,Key Management Service)功能提供,无需您自行构建和维护密钥管理基础设施,安全便捷。

通过单击“数据盘加密”开启或关闭数据盘加密功能。

数据盘密钥ID

“数据盘加密”功能开启时,显示该参数。用于显示已选择的密钥名称对应的密钥ID。

数据盘密钥名称

“数据盘加密”功能开启时,需要配置该参数。选择用来加密数据盘的密钥名称,默认选择密钥名称为“evs/default”的默认主密钥,在下拉框中可以选择其他用户主密钥。

使用用户主密钥加密云硬盘,若对用户主密钥执行禁用、计划删除等操作,将会导致云硬盘不可读写,甚至数据永远无法恢复,请谨慎操作。

单击“查看密钥列表”,进入密钥管理页面可以创建及管理密钥。

告警

开启告警功能可在集群运行异常或系统故障时,及时通知集群维护人员定位问题。

规则名称

用户自定义发送告警消息的规则名称,只能包含数字、英文字符、中划线和下划线。

主题名称

选择已创建的主题,也可以单击“创建主题”重新创建。新创建的主题请参考向主题添加订阅向该主题添加订阅者才能接收发布至主题的消息。

主题是发送消息和订阅通知的信道,为发布者和订阅者提供一个可以相互交流的通道。

日志记录

集群创建失败时,是否收集失败日志。

开启日志记录开关之后将自动收集集群创建失败、扩/缩容失败等场景下的系统日志及相关组件运行日志到OBS文件系统中,该日志用于运维人员快速定位问题。该日志信息将最多保留7天。

集群创建失败

如果集群创建失败后,失败任务会自动转入“失败任务管理”页面。选择“集群列表 > 现有集群”,单击进入“失败任务管理”页面,在“任务状态”列中,将鼠标移动到上可以查看到失败原因。可以参见查看失败的集群操作任务章节删除失败任务。

MRS集群创建失败错误码列表如表6所示。

表6 错误码

错误码

说明

MRS.101

用户请求配额不足,请联系客服提升配额。

MRS.102

用户Token为空或不合法,请稍后重试或联系管理员。

MRS.103

用户请求不合法,请稍后重试或联系管理员。

MRS.104

用户资源不足,请稍后重试或联系管理员。

MRS.105

现子网IP不足,请稍后重试或联系管理员。

MRS.201

因ECS服务导致失败,请稍后重试或联系管理员。

MRS.202

因IAM服务导致失败,请稍后重试或联系管理员。

MRS.203

因VPC服务导致失败,请稍后重试或联系管理员。

MRS.400

MRS内部出错,请稍后重试或联系管理员。

我们使用cookie来确保您的高速浏览体验。继续浏览本站,即表示您同意我们使用cookie。 详情

文档反馈

文档反馈

意见反馈

0/500

标记内容

同时提交标记内容