MRS集群节点规格说明
集群节点规格
MRS当前支持主机规格的配型由CPU+内存+Disk共同决定。
弹性云服务器由多个租户共享物理资源,而裸金属服务器的资源归用户独享。对于关键类应用或性能要求较高的业务(如大数据集群、企业中间件系统),并且要求安全可靠的运行环境,使用裸金属服务器更合适。
当使用BMS类型的规格时,不支持升级Master节点规格。
仅当集群的“计费模式”为“包年/包月”时,MRS支持使用BMS类型的规格。
MRS支持的弹性云服务器(ECS)和裸金属服务器(BMS)混合部署,部署方式如下:
- Master、Core和Task节点均使用ECS部署。
- Master、Core使用BMS部署,Task使用ECS部署。
- Master、Core节点任意使用ECS和BMS混合部署,Task节点使用ECS部署。
- 节点的实例规格配置越高,数据处理分析能力越强,集群所需费用也越高。
- 不同可用区内的实例规格可能有差异,如果当前可用区下的实例规格不满足需求,可尝试切换其他可用区。
- 当Core节点规格选择为HDD磁盘时,MRS无需为数据磁盘付费,但ECS需要为此付费。
- 当Core节点规格选择非HDD磁盘时,Master节点和Core节点的磁盘类型取决于数据磁盘。
- 当节点的实例规格选项后标示“已售罄”时,将无法购买此规格的节点,请选择其他规格节点进行购买。
- Master节点中的4核8GB规格不在SLA售后范围内,仅适用于测试环境,不建议用于生产环境。
- MRS 3.x及之后版本集群Master、Core节点的内存规格不能小于64GB。
集群节点磁盘类型
| 磁盘角色 | 描述 |
|---|---|
| 系统盘 | 节点系统盘的存储类型和存储空间。 存储类型:
|
| 数据盘 | 节点数据磁盘存储空间。为增大数据存储容量,创建集群时可同时添加磁盘,每个Core或者Task节点最多支持添加10块磁盘,有如下应用场景:
目前的存储类型:
说明: MRS集群内节点个数越多,对管理节点(即Master节点)的硬盘容量要求越高。为了保证集群能够健康地运行,当创建的节点个数达到300时,建议将Master的硬盘容量配置成600 GB以上;当创建的节点个数达到500时,建议将Master的硬盘容量配置成1TB以上。 |
集群数据存储说明
MRS大数据集群支持业务数据存算一体(本地HDFS存储)与存算分离(OBS对象存储)的存储架构,用户可根据数据量级、业务时效、成本预算、弹性伸缩诉求灵活选择。
- 存算一体:传统原生存储架构,将数据持久化存储于集群节点本地磁盘,依托集群内的HDFS分布式文件系统实现数据管理,存储资源与计算资源部署在同一集群中,资源强耦合。
基于HDFS标准主从架构,由NameNode管理元数据(文件目录、权限、副本信息),DataNode部署在集群各个业务节点上,负责本地磁盘的数据块实际存储。MRS集群计算角色(Spark、YARN、MapReduce等)可直接访问本地节点磁盘数据,数据传输仅在集群内网完成,无跨网络转发开销。
适用于中小规模数据量、高频离线批量计算、低延迟交互式分析、集群内数据闭环使用、对读写性能要求高于成本控制的业务场景。
- 存算分离:解除计算资源与存储资源的耦合关系,计算资源由MRS集群节点提供,业务数据存储在对象存储文件系统中,数据与计算集群物理隔离,通过内网网关实现数据互联互通。
MRS集群通过内置OBS-HDFS兼容协议插件,将OBS对象存储挂载为HDFS标准文件系统路径,大数据组件可通过原生HDFS接口无感访问OBS数据。计算节点仅负责任务调度与数据计算,不持久化存储业务数据。
适用于海量大数据量、冷热数据分层管理、周期性弹性算力需求、跨集群数据共享、数据湖架构、长期归档存储、成本优先型的业务场景。
更多关于存算分离场景介绍及操作指导可参考配置MRS集群存算分离。