更新时间:2026-07-07 GMT+08:00
分享

MRS集群节点规格说明

集群节点规格

MRS当前支持主机规格的配型由CPU+内存+Disk共同决定。

弹性云服务器由多个租户共享物理资源,而裸金属服务器的资源归用户独享。对于关键类应用或性能要求较高的业务(如大数据集群、企业中间件系统),并且要求安全可靠的运行环境,使用裸金属服务器更合适。

当使用BMS类型的规格时,不支持升级Master节点规格。

仅当集群的“计费模式”为“包年/包月”时,MRS支持使用BMS类型的规格。

MRS支持的弹性云服务器(ECS)和裸金属服务器(BMS)混合部署,部署方式如下:

  • Master、Core和Task节点均使用ECS部署。
  • Master、Core使用BMS部署,Task使用ECS部署。
  • Master、Core节点任意使用ECS和BMS混合部署,Task节点使用ECS部署。
  • 节点的实例规格配置越高,数据处理分析能力越强,集群所需费用也越高。
  • 不同可用区内的实例规格可能有差异,如果当前可用区下的实例规格不满足需求,可尝试切换其他可用区。
  • 当Core节点规格选择为HDD磁盘时,MRS无需为数据磁盘付费,但ECS需要为此付费。
  • 当Core节点规格选择非HDD磁盘时,Master节点和Core节点的磁盘类型取决于数据磁盘。
  • 当节点的实例规格选项后标示“已售罄”时,将无法购买此规格的节点,请选择其他规格节点进行购买。
  • Master节点中的4核8GB规格不在SLA售后范围内,仅适用于测试环境,不建议用于生产环境。
  • MRS 3.x及之后版本集群Master、Core节点的内存规格不能小于64GB。

集群节点磁盘类型

表1 MRS集群节点磁盘类型

磁盘角色

描述

系统盘

节点系统盘的存储类型和存储空间。

存储类型:

  • SAS:高IO
  • SSD:超高IO
  • GPSSD:通用型SSD
  • ESSD:极速型SSD

数据盘

节点数据磁盘存储空间。为增大数据存储容量,创建集群时可同时添加磁盘,每个Core或者Task节点最多支持添加10块磁盘,有如下应用场景:

  • 数据存储和计算分离,数据存储在OBS中,集群存储成本低,存储量不受限制,并且集群可以随时删除,但计算性能取决于OBS访问性能,相对HDFS有所下降,建议在数据计算不频繁场景下使用。
  • 数据存储和计算不分离,数据存储在HDFS中,集群成本较高,计算性能高,但存储量受磁盘空间限制,删除集群前需将数据导出保存,建议在数据计算频繁场景下使用。

目前的存储类型:

  • SAS:高IO
  • SSD:超高IO
  • GPSSD:通用型SSD
  • ESSD:极速型SSD
说明:

MRS集群内节点个数越多,对管理节点(即Master节点)的硬盘容量要求越高。为了保证集群能够健康地运行,当创建的节点个数达到300时,建议将Master的硬盘容量配置成600 GB以上;当创建的节点个数达到500时,建议将Master的硬盘容量配置成1TB以上。

集群数据存储说明

MRS大数据集群支持业务数据存算一体(本地HDFS存储)存算分离(OBS对象存储)的存储架构,用户可根据数据量级、业务时效、成本预算、弹性伸缩诉求灵活选择。

  • 存算一体:传统原生存储架构,将数据持久化存储于集群节点本地磁盘,依托集群内的HDFS分布式文件系统实现数据管理,存储资源与计算资源部署在同一集群中,资源强耦合。

    基于HDFS标准主从架构,由NameNode管理元数据(文件目录、权限、副本信息),DataNode部署在集群各个业务节点上,负责本地磁盘的数据块实际存储。MRS集群计算角色(Spark、YARN、MapReduce等)可直接访问本地节点磁盘数据,数据传输仅在集群内网完成,无跨网络转发开销。

    适用于中小规模数据量、高频离线批量计算、低延迟交互式分析、集群内数据闭环使用、对读写性能要求高于成本控制的业务场景。

  • 存算分离:解除计算资源与存储资源的耦合关系,计算资源由MRS集群节点提供,业务数据存储在对象存储文件系统中,数据与计算集群物理隔离,通过内网网关实现数据互联互通。

    MRS集群通过内置OBS-HDFS兼容协议插件,将OBS对象存储挂载为HDFS标准文件系统路径,大数据组件可通过原生HDFS接口无感访问OBS数据。计算节点仅负责任务调度与数据计算,不持久化存储业务数据。

    适用于海量大数据量、冷热数据分层管理、周期性弹性算力需求、跨集群数据共享、数据湖架构、长期归档存储、成本优先型的业务场景。

    更多关于存算分离场景介绍及操作指导可参考配置MRS集群存算分离

相关文档