退订MRS包周期集群指定节点
在MRS包周期集群的日常运维中,随着业务量下降,集群中部分Core节点的计算和存储资源可能长期处于闲置状态,继续保留这些节点将导致资源浪费和运维成本增加。然而,直接删除节点可能导致HDFS数据丢失或服务异常,存在数据安全风险。如何在保证数据完整性和集群稳定性的前提下,安全退出不需要的节点以降低运维成本?MRS提供退订包周期集群指定节点功能,通过先退服或隔离节点上的数据和服务实例,再执行退订操作,确保数据安全迁移后安全删除节点,实现集群缩容。
本章节仅适用于缩容包周期集群节点,如果需要缩容按需计费集群的节点,请参见缩容MRS集群。
基本概念
- 包周期集群:按包年包月方式购买的MRS集群,节点计费周期固定,退订节点时需先关闭自动续费,退订后按退款规则退还剩余费用。
- Core节点:MRS集群中承担数据存储和计算任务的节点,部署了DataNode、NodeManager等核心服务实例。退订Core节点前须确保其上的数据已安全迁移至其他节点。
- 退服:将节点上运行的服务实例(如HDFS DataNode)安全停止并将其上的数据迁移到集群中其他节点的过程。退服完成后,节点上的数据副本已在其他节点上重建,可安全删除节点而不会造成数据丢失。
- 隔离:将节点从集群中逻辑隔离,使其不再参与集群的服务调度和数据处理。隔离是比退服更强的操作,隔离后的节点不再承载任何业务流量。
退订节点前必须先执行退服或隔离操作,其原理是将待退订节点上的HDFS数据块副本迁移到集群中其他节点上,确保数据副本数满足HDFS的配置要求后再删除节点。若跳过此步骤直接退订节点,节点上的数据副本将随节点删除而丢失,可能导致HDFS副本数低于安全阈值,造成数据不可恢复的丢失。同时,节点上运行的Yarn NodeManager、HBase RegionServer等服务实例也需要安全停止,避免任务异常中断。
约束与限制
- 目前一次操作最多可以退订5个Core节点,退订后的Core节点数不能小于2,以保证集群最基本的存储和计算能力。
- 当集群中分析Core节点个数小于等于HDFS副本数时,为了保证数据的可靠性MRS不支持退订节点。HDFS副本数可通过HDFS参数配置中的“dfs.replication”参数查询。
- MRS不支持退订部署了ZooKeeper、Kudu、Kafka及ClickHouse服务(MRS 3.1.2及之后版本支持退服成功后退订ClickHouse服务节点)的节点。
- 目前以下版本集群支持退订包周期集群指定节点,其他版本集群请联系技术支持处理。
- MRS 2.1.0(需安装 2.1.0.5或之后版本的补丁)
- MRS 3.1.0(需安装 3.1.0.0.2或之后版本的补丁)
- MRS 3.1.5
- MRS 3.2.0-LTS.1(需安装3.2.0-LTS.1.3或之后版本的补丁)
- MRS 3.3.0-LTS及之后版本
退订包周期集群指定节点操作
- 关闭待退订节点集群的自动续费功能,具体请参见如何取消自动续费。
- 登录MRS管理控制台。
- 选择“现有集群”,单击待退订节点的集群名称进入集群详情页面。
- 在集群“概览”页单击“IAM用户同步”右侧的“同步”。
- 退服或者隔离节点。
退订节点时,须等待隔离/退服成功后,才能进行退订操作,否则会造成数据丢失等风险。
- 集群版本为MRS 2.x及之前版本时:
- 集群版本为MRS 3.1.0、3.1.5、3.2.0-LTS.1和MRS 3.3.0-LTS及之后版时:
- 选择“节点管理”,在待退订节点组对应的“操作”列单击“退服节点”。
- 选择需要退服的节点并单击“确定”对节点进行退服。
退服节点过程的时长取决于节点中数据量,数据量越大则时间越长,请耐心等待。
节点退服成功后,节点状态显示为“已退服”。
- 除MRS 3.1.0、3.1.5、3.2.0-LTS.1和MRS 3.3.0-LTS及之后版本以外的3.x版本集群,需执行以下操作:
- 若待退订的节点中部署了HDFS的DataNode、Yarn的NodeManager或HBase的RegionServer,需登录Manager退服相关实例,具体请参考退服和入服MRS角色实例。
- 在MRS管理控制台的“节点管理”页面,勾选需退订的节点,选择“节点操作 > 隔离主机”,主机隔离成功后再联系技术支持退订节点。
- 每次隔离/退服只能隔离/退服一个节点,退订节点需要隔离/退服成功后,才能退订,否则会造成数据丢失等风险。
- 若节点隔离/退服失败,请登录Manager,单击
在任务列表中查询并单击隔离/退服主机失败的任务名,根据界面提示信息处理。
- 除MRS 3.1.0、3.1.5、3.2.0-LTS.1和MRS 3.3.0-LTS及之后版本以外的3.x版本集群,需执行以下操作:
- 在集群详情页选择“节点管理 > 退订节点”。
- 选择需要退订的节点并单击“确定”。
目前一次操作最多可以退订20个Core节点,退订后的Core节点数不能小于2。
图1 选择要退订的节点
- 在“退款信息”页面确认相关信息,勾选“我已确认本次退订金额和相关费用”(界面若无该提示则跳过)并单击“退订”。 此时集群状态更新为“缩容中”,缩容完成后集群状态更新为“运行中”,指定节点已被删除。图2 退款信息
- (可选)集群如需开通自动续费功能,请参见如何开通自动续费操作。
验证操作:
退订完成后,在MRS管理控制台的集群详情页查看集群状态。若集群状态从“缩容中”变为“运行中”,且“节点管理”页面中目标节点已被删除,则表示退订操作成功完成。同时可在告警列表页面检查是否有因退订触发的异常告警。
常见问题
- 退订后ECS退订报异常
退订MRS集群或指定节点后,ECS资源可能因MRS集群的残留关联关系未完全清理,导致在ECS中退订弹性云服务器时报异常。
了解该故障的具体处理方法,请参考退订MRS集群后在ECS中退订弹性云服务器时报异常如何处理?。
- 节点隔离或退服失败
节点隔离或退服失败的常见原因包括:节点上数据量过大导致迁移超时、集群中其他节点可用空间不足以接收迁移数据、或节点上的服务实例状态异常。
请登录Manager,在任务列表中查询并单击隔离/退服主机失败的任务名,根据界面提示信息处理。
- 退订操作需要多长时间
退订操作的总时长主要取决于隔离或退服阶段的数据迁移时间。节点上存储的数据量越大,数据迁移到其他节点所需的时间越长。隔离/退服完成后,退订操作本身通常在几分钟内完成。
建议在业务低峰期执行退订操作,并确保集群中其他节点有足够的磁盘空间接收待迁移数据,以加快迁移速度。
相关文档
- 如果需要缩容按需计费集群的节点,请参考缩容MRS集群。
- 了解如何退服和入服MRS角色实例,请参考退服和入服MRS角色实例。
- 了解如何取消自动续费,请参考如何取消自动续费。
- 退订MRS集群后,在ECS中退订弹性云服务器时报异常,处理该故障的具体操作请参见退订MRS集群后在ECS中退订弹性云服务器时报异常如何处理?。