GaussDB(DWS)存算一体架构弹性伸缩系统性介绍

集群拓扑详解

要想充分理解DWS的弹性伸缩能力，首先需要了解DWS的集群拓扑结构。如下是DWS的简单的ECS+EVS部署结构：

• ECS提供计算资源，包括CPU、内存配置，DWS数据库实例（CN、DN等）都部署在ECS上。
• EVS提供存储资源，每个DN都会挂载一块EVS云盘。
• 而组成DWS集群的所有ECS节点都部署在同一个VPC内部，提供高速网络通道。
• 部署在ECS上的所有数据库实例逻辑上组成一个分布式的MPPDB架构集群，对外提供数据分析处理能力。

图1 集群拓扑

弹性磁盘扩容

• 弹性磁盘扩容是指调整当前集群的所有的ECS节点上挂载的所有EVS磁盘大小，主要针对需要快速调整磁盘扩容的需求。
• 仅支持磁盘扩容，不支持缩容。
• 磁盘扩容是轻量级操作，不涉及数据搬迁，通常会在5-10分钟内完成，也不涉及服务重启，不影响业务，建议选择在业务低峰期进行存储扩容。
• 弹性磁盘扩容支持GaussDB(DWS)标准数仓，实时数仓的EVS盘规格。集群版本在8.1.1.203及以后版本支持。
• 具体操作参见EVS集群磁盘扩容。

图3 弹性磁盘扩容

弹性变更规格

• 弹性规格变更是指调整当前集群的节点规格，主要针对CPU、内存两种资源的变更。适用于需要快速调整CPU以及内存规格的需求。
• 规格是指不同数量的CPU和内存的一种组合，例如：dwsx.16xlarge（CPU:64 Memory:512G ）。
• 弹性规格变更是轻量级操作，不涉及数据搬迁，通常会在5-10分钟内完成，但是过程中会重启一次，涉及业务分钟级别中断，建议选择在业务低峰期进行。
• 弹性规格变更支持GaussDB(DWS)标准数仓、实时数仓的EVS规格。集群版本在8.1.1.300及以后版本支持。
• 具体操作参见弹性变更规格。

图4 弹性变更规格

集群扩容

集群扩容是分布式MPPDB架构横向扩展的典型场景，通过添加对等同构的节点到当前集群来完成集群规模横向扩展的能力。DWS 2.0属于存算一体架构，因此集群扩容同时扩容了计算能力和存储能力。

为了扩容后集群内各节点负载均衡，性能最优，集群扩容会进行元数据复制和数据重分布，把数据重新均匀分布到新节点，因此集群扩容耗时与用户的数据库对象数量和数据量正相关。同时为了架构可靠性，新扩容的节点会自动组织成环，因此每次扩容至少扩容3个节点。

图5 集群扩容

8.1.1版本以后支持了在线扩容。在线扩容过程中，DWS服务不重启，持续对外提供服务。表重分布期间用户可以对该表执行插入、更新、删除，但重分布过程仍然会短时间阻塞用户的数据更新操作，会影响用户语句的执行性能。扩容重分布过程会消耗大量的CPU和IO资源，因此会对用户作业性能影响较大，用户应该尽可能在停止业务或业务轻载的情况下执行扩容重分布。用户也可以考虑分段扩容重分布策略，在系统负载很小的情况下采用高并发进行扩容重分布，在系统负载大的情况下停止扩容重分布或采用低并发进行扩容重分布。

集群扩容分为分段扩容和一键式扩容两种操作方式。

分段扩容把扩容操作分成添加主机，扩容，数据重分布三个阶段，用户可分段操作，把变更风险和业务影响降低到最低。

直接扩容是一键式操作，用户操作便捷度更高。

DWS集群安全环

集群扩容和缩容都和安全环相关，安全环是指DN多副本横向部署的最小主机集合。安全环主要作用是故障隔离。环内主机出现故障，故障不会扩散到环外。

DWS属于主备从架构，因此最小安全环节点数为3个节点。环内出现故障时，对环外无影响，对整个集群的影响的节点范围最小（3节点），对环内每个节点的影响为1/(N-1)，即1/2。极端场景下整个集群是一个安全环。环内出现故障，对整个集群的影响的节点范围最大（整个集群），对环内每个节点的影响最小，为1/(N-1)。

一种常见的做法是N+1成环，每个节点把他的N个备机均匀分散部署到环内的其余N个节点上。环内出现故障时，对整个集群的影响的节点范围为N+1，对环内每个节点的影响为1/N。

图6 典型N+1安全环

集群缩容

• 相对于集群扩容，集群缩容是分布式MPPDB架构横向收缩的典型场景，通过缩减当前集群部分节点来完成收缩集群规模的能力。集群缩容会同时收缩计算能力和存储能力。
• DWS集群物理上由多个ECS节点组合，而为了提升架构可靠性，多个ECS节点（一般3个）又会组成一个逻辑安全环，多个安全环就组成了DWS集群。而缩容则是以安全环为单位缩减，优先缩容集群尾部的安全环。
• 集群缩容涉及数据搬迁，会把被缩减节点上的数据重分布到剩余节点上，因此缩容耗时与用户的数据库对象数量和数据量正相关。
• 集群缩容支持GaussDB(DWS)标准数仓、实时数仓，在线缩容在8.1.1.300版本开始支持，在线缩容过程中，DWS服务不重启，持续对外提供服务。表重分布期间用户可以对该表执行插入、更新、删除，但重分布过程仍然会短时间阻塞用户的数据更新操作，会影响用户语句的执行性能。缩容重分布过程会消耗大量的CPU和IO资源，因此会对用户作业性能影响较大，用户应该尽可能在停止业务情况下或业务轻载的情况下执行缩容重分布。

图7 集群缩容

增删CN

• 增删CN属于DWS数据库实例收缩操作，可以扩展和收缩数据库CN实例。
• CN全称协调节点（Coordinator Node）是和用户关系最密切也是DWS内部非常重要的一个组件，它负责提供外部应用接口、优化全局执行计划、向Datanode分发执行计划，以及汇总、处理执行结果。
• CN是外部应用的接口，CN的并发能力直接决定了业务的并发度。因此可以通过增加CN来扩展分布式能力，提升业务并发度。
• 同时由于CN是多主多活架构，为了保证数据一致性，如果部分CN数据损坏，DDL业务将受到阻塞，可以通过删除故障CN来快速恢复DDL业务。
• DWS标准数仓、实时数仓支持增删CN功能，在8.1.1及以后版本支持。
• 增加CN过程中会同步元数据，因此增加CN耗时和元数据数量正相关，8.1.3版本支持在线增删CN，增加CN过程中DWS服务不重启，持续对外提供服务，DDL业务会短暂阻塞（不报错），其余业务不受影响。

图8 增删CN

集群调整大小

• 集群调整大小也叫集群resize，是一个非常全面的功能，它能满足你所有的弹性伸缩需求，它既支持集群规模的Scale out、Scale in，也支持硬件规格的Scale up，Scale down，同时支持集群拓扑结构的重组。
• DWS resize基于多nodegroup和数据重分布实现，resize过程中会按照新的资源诉求（硬件升降配）和集群规划（集群规模扩缩）部署一套新集群，然后和老集群做数据重分布，数据迁移完成后，会把业务迁移到新集群，然后释放老集群。
• 集群resize涉及数据搬迁，会把老集群节点上的数据重分布到新集群节点上（老集群节点上数据还在），因此集群resize耗时与用户的数据库对象数量和数据量正相关。
• DWS标准数仓支持集群resize功能，需agent升级到8.2.0.2版本后支持。目前resize期间老集群只支持只读业务。后续会提供在线能力。
• 具体操作参见经典变更规格。

图9 集群调整大小

功能对比

以上各种弹性伸缩功能的对比如下。

弹性伸缩应用场景

不同的弹性伸缩功能应用在不同的业务场景下，具体参见表3。