创建GaussDB(DWS)存算一体2.0集群
如果用户需要在华为云环境中使用GaussDB(DWS),首先要创建一个数据仓库集群。创建数据仓库集群时默认采用包年/包月付费方式,相比按需付费方式更优惠,用户可根据业务需要,定制相应计算能力和存储空间的GaussDB(DWS)集群。用户也可以采用按需付费方式,即节点按实际使用时长计费,计费周期为一小时,这种购买方式比较灵活,可以即开即停,按实际使用时长计费。
本章节介绍如何在GaussDB(DWS)管理控制台创建一个数据仓库集群。
- 低配置集群,如内存16G、vCPU4核及以下的规格,建议不要用于生产环境,可能会导致资源过载风险。
- 为保证集群负载均衡和高可用,避免业务中断风险,不建议业务直连单CN,需配置负载均衡保证各CN连接均衡。
- 同账号下的两个GaussDB(DWS)集群在物理层面是隔离的,不能共享一份数据,用户可通过Foreign Table方式从远端GaussDB(DWS)导入数据到本端GaussDB(DWS),详情请参见导入远端DWS数据源。
创建集群前的准备
- 评估集群节点规格
用户可以根据数据量、业务负载以及性能需求,选择能够支撑业务应用的节点数量,数量越多,存储与计算能力越强。
首次使用GaussDB(DWS)服务,可以先创建一个规格较小的集群,今后随着数据量和业务负载的变化,再自由调整集群规模和节点规格,自由扩展而不中断业务。详情请参见集群扩容。
- 确定用户可使用的节点数
用户可使用的节点数需满足以下条件,否则系统会提示无法创建集群:
可使用的节点数取决于所选产品类型,其中实时数仓(单机部署)集群为单个节点, 且只能为一个节点;其他产品类型可使用节点数大于或者等于3。用户可使用的节点数可在“集群 > 专属集群”页面查看。
创建集群
- 进入创建数据仓库集群页面。
- 选择“区域”,选择集群节点实际工作区域。
有关区域的详细信息,请参见地区和终端节点。
- 选择“计费模式”。计费模式说明详情请参见计费说明。
- 包年/包月:当用户选择包年/包月计费模式时,除了执行以下步骤之外还需在13设置购买时长。
如果当前控制台界面不支持该计费模式,请联系技术支持人员。
- 按需计费(小时):选择该模式,继续执行以下步骤。
- 包年/包月:当用户选择包年/包月计费模式时,除了执行以下步骤之外还需在13设置购买时长。
- 选择“可用分区”,用户可根据需求选择“单AZ”或“多AZ”。
关于区域和可用分区的描述,请参见区域和可用区。
- 多AZ集群仅8.2.0.100及以上集群版本支持。
- 只有当前选择的区域可用分区数量>=3时会展示“多AZ”选项,不满足该条件只能创建单AZ集群。
- 多AZ集群目前只支持同时选择3个AZ,主机节点均匀分配在选择的3个AZ中。
- 多AZ集群只支持产品类型为标准数仓。
- 多AZ集群节点数量必须满足3的倍数。
- 多AZ集群只支持单节点DN数量<=2的规格。
- 选择“产品类型”、“CPU架构”和“节点规格”等。
- 设置的节点数量不能大于用户可使用的节点配额或256个。如果可使用的节点配额不足,用户可以单击“申请扩大配额”以提工单的形式申请更多节点配额。
- 如果有符合业务需求的包年/包月节点,建议先使用包年/包月的节点,可节约费用。用户可在计费模式中选择“包年/包月”进行购买。
- 集群创建成功后,“产品类型”不能再进行更改,请参考数据仓库类型了解不同产品类型功能上的具体差异。
图1 选择节点规格
表1 主机规格参数说明 参数名
参数解释
样例值
产品类型
产品类型有:
- 标准数仓:高性价比,支持冷热数据分析,存储、计算弹性伸缩,无限算力、无限容量,并按需、按量计价。适用于“库、仓、市、湖”一体化的融合分析业务,是OLAP分析场景的首选。
- 实时数仓:在大规模数据查询和分析能力基础上,提供高并发、高性能、低时延、低成本的事务处理能力。适用于HTAP混合负载场景,“一库两用,生产即分析”,支持单机部署和集群部署两种部署方式。
说明:创建实时数仓时,用户可根据需求选择集群部署或单机部署:- 集群部署:创建集群时可选择带有h的节点规格(例如:dwsx2.h.4xlarge.4.c6),此时实时数仓支持集群部署,支持节点扩容、资源池等功能。
- 单机部署:创建集群时可选择带有h1的节点规格(例如:dwsx2.h1.xlarge.2.c6),此时实时数仓只支持单机部署,单机形态不提供高可用服务,因此存储成本可减半,单机模式服务可用性通过ECS自动重建实现,数据可靠性通过EVS多副本机制保证。单机形态性价比更高,建议用于轻量化业务。
标准数仓
版本选择
DWS 2.0
DWS 2.0
计算类型
计算类型有:
- 弹性云服务器:基于分布式架构的,可弹性扩展的虚拟块存储服务。具有高数据可靠性,高I/O吞吐能力,能够保证任何一个副本故障时快速进行数据迁移恢复,避免单一硬件故障造成数据丢失。支持云服务器和云硬盘的备份及恢复,可预先设置好自动备份策略,实现在线自动备份。
-
存储类型
存储类型有:
- SSD云盘
- 极速型SSD云盘:适用于需要超大带宽和超低时延的场景。
- 极速型SSD V2云盘:专用于对延迟敏感的业务关键型应用程序的极高性能SSD云硬盘。
- SSD本地盘
说明:
SSD本地盘不支持磁盘扩容。云硬盘详情请参见磁盘类型及性能介绍。
-
CPU架构
CPU架构有:
- X86
- 鲲鹏
说明:X86和鲲鹏只是底层架构不一致,应用层不感知,SQL语法一致,如果创建集群时提示X86资源不足,可以选择鲲鹏架构。
-
节点规格
请根据业务需求合理选择节点规格。在节点规格列表中展示了每一种节点规格单个节点的vCPU、内存和建议使用场景。
GaussDB(DWS)节点规格价格详情,请参见GaussDB(DWS)价格详情。
GaussDB(DWS)支持的节点规格详情,请参见数据仓库规格。
dws2.m6.4xlarge.8
热数据存储
每节点可用存储容量。
说明:- 申请的存储空间会有必要的文件系统开销,这些开销包括索引节点,以及数据库运行必须的空间。存储空间的数值必须为100的整倍数。
- 界面上显示200GB/节点是用户的业务数据实际的存储容量,例如节点数量选为3个,那么资源总量为600GB。
- 选择冷热数据存储时默认会自动创建表空间,用户不需要手动创建,该特性仅8.1.3及以上集群版本支持。
-
节点数量
选择集群中的节点个数。
支持的节点数范围为3~256。
3
资源总量(GB)
显示集群的总容量。
各个规格对应的存储容量均为数据库存储数据的实际空间,所展示存储容量已扣除副本、RAID所消耗的磁盘空间。
-
表2 规格说明(仅在专属云DEC场景下支持) 节点规格
vCPU核数
内存大小(GB)
架构
规格类型
dwsx2.2xlarge.dec
8
64
X86
ECS/存算分离EVS
dwsx2.8xlarge.dec
32
256
X86
ECS/存算分离EVS
dwsx2.16xlarge.dec
64
512
X86
ECS/存算分离EVS
dwsk2.2xlarge.dec
8
64
ARM
ECS/存算分离EVS
dwsk2.8xlarge.dec
32
256
ARM
ECS/存算分离EVS
dwsk2.12xlarge.dec
48
384
ARM
ECS/存算分离EVS
dws2.olap.4xlarge.i3.dec
16
128
X86
ECS/本地直通
dws2.olap.8xlarge.i3.dec
32
256
X86
ECS/本地直通
dws2.olap.16xlarge.i3.dec
64
512
X86
ECS/本地直通
dws2.olap.4xlarge.ki1.dec
16
64
ARM
ECS/本地直通
dws2.olap.8xlarge.ki1.dec
32
128
ARM
ECS/本地直通
dws2.olap.16xlarge.ki1.dec
64
228
ARM
ECS/本地直通
- 单击“下一步:网络配置”。
- 配置网络。
表3 网络参数说明 参数名
参数解释
样例值
虚拟私有云
指定集群节点使用的虚拟专用网络,实现不同业务的网络隔离。
首次创建数据仓库集群时,如果未配置过虚拟私有云,可以单击“查看虚拟私有云”进入虚拟私有云管理控制台,新创建一个满足需求的虚拟私有云。
如何创建虚拟私有云,具体请参见《虚拟私有云用户指南》中的创建虚拟私有云和子网章节。
在下拉框中选择一个虚拟私有云后,单击“查看虚拟私有云”可以进入虚拟私有云管理控制台查看虚拟私有云的详细信息。
单击可以刷新“虚拟私有云”下拉框中选项值。
说明:- 用户可通过创建共享操作,共享给其他成员VPC资源。被共享成员接受共享邀请后即可选择共享的VPC资源,详情请参见如何使用VPC共享来处理GaussDB(DWS)资源?
vpc-dws
子网
指定虚拟私有云的一个子网。
集群使用子网实现与其他网络的隔离,并独享所有网络资源,以提高网络安全。
说明:集群创建成功后不支持修改子网,如果一定需要修改,可通过集群恢复快照到新集群,新集群的数据和旧集群一样且新集群在创建时子网可以更改。
subnet-dws
安全组
指定虚拟私有云的安全组。
安全组限制安全访问规则,加强集群与其它服务间的安全访问。
- 自动创建安全组
系统默认选中“自动创建安全组”,设置为该选项时,系统将会自动创建一个默认安全组。
默认安全组的规则如下:出方向允许所有访问,入方向只开放用户设置的GaussDB(DWS) 集群的数据库端口。
默认安全组的名称,其格式如下:dws-<集群名称>-<GaussDB(DWS) 集群的数据库端口>,例如,dws-dws-demo-8000。
说明:如果安全组和安全组规则的配额不足,提交创建集群申请后系统会报错,用户可以选择已有的安全组后重试。
- 手动创建并配置安全组
用户也可以登录VPC管理控制台手动创建一个安全组,创建成功后返回到GaussDB(DWS)创建集群页面,单击“安全组”下拉列表旁边的按钮,刷新后在“安全组”下拉列表中选择新建的安全组。
为了使GaussDB(DWS)客户端可以连接集群,用户需要在新建的安全组中添加一条入规则,开放GaussDB(DWS)集群的数据库端口的访问权限。入规则示例如下,详情请参见添加入方向规则:
- 协议:TCP。
- 端口范围:8000。指定为创建GaussDB(DWS)集群时设置的数据库端口,这个端口是GaussDB(DWS)用于接收客户端连接的端口。
- 源地址:选中“IP地址”,然后指定为客户端主机的IP地址,例如“192.168.0.10/32”。
GaussDB(DWS)集群创建成功后,安全组支持更改为其他安全组,也可以在当前的安全组中添加、删除或修改安全组规则。如何修改安全组请参见修改安全组。集群更换安全组过程中有短暂的业务中断,请谨慎操作。为了更好的网络性能,选择安全组时不要多于5个。
自动创建安全组
公网访问
指定用户是否可以在互联网上使用客户端连接集群数据库。支持如下方式:
- “暂不使用”:暂不使用弹性IP。如DWS使用于生产环境,需绑定ELB,则选择不使用弹性IP,通过绑定ELB后,再从ELB页面进行弹性IP绑定。
- “现在购买”:用户指定弹性IP的带宽,系统将自动为集群分配独享带宽的弹性IP,通过弹性IP可以从互联网对集群进行访问。自动分配的弹性IP的带宽名称以集群名称开头。
- “使用已有”:为集群绑定指定的弹性IP。如果下拉框中没有可用的弹性IP,可以单击“查看弹性公网IP”进入弹性公网IP页面创建一个满足需要的弹性IP。带宽可根据用户需要设置。
说明:- 包周期计费模式创建集群时,不支持现在购买EIP。
- 每个区域的每个项目首次使用弹性IP绑定功能时,系统将提示创建名称为“DWSAccessVPC”的委托以授权GaussDB(DWS) 访问VPC。授权成功后,GaussDB(DWS)可以在绑定弹性IP的虚拟机故障时切换至健康虚拟机。
- 默认情况下,只有华为云账号用户或拥有Security Administrator权限的用户才具备查询委托和创建委托的权限。账号中的IAM用户,默认没有查询委托和创建委托的权限,在使用弹性IP绑定功能时页面会屏蔽绑定按钮,此时需联系有“DWS Administrator”权限的用户在当前页面完成对GaussDB(DWS)的委托授权。
- 公网访问选择“暂不使用”,即不启用公网访问集群。在集群创建成功后,如果用户想通过公网访问集群,可以先为集群绑定弹性IP再创建公网域名,详情请参见创建公网域名。
- 如果是生产环境,集群需要绑定弹性负载均衡(ELB),再通过ELB绑定弹性公网IP,此处选择“暂不使用”。
现在购买
带宽
当“公网访问”选择“现在购买”时,需设置弹性IP的带宽,设置范围:1~100Mbit/s。
50Mbit/s
弹性负载均衡
指定用户是否绑定弹性负载均衡,利用ELB健康检查机制将集群的CN请求快速转发到正常工作的CN节点上,当有CN故障节点时,也能第一时间切换流量到健康节点上,最大化降低集群访问故障。当前支持同VPC绑定ELB和跨VPC绑定ELB两种类型操作。
- “暂不使用”:暂不使用ELB。如DWS使用于生产环境,需绑定ELB,如果选择不使用弹性IP,通过绑定ELB后,可从ELB页面进行弹性IP绑定。
- “使用已有”:为集群绑定指定的ELB。如果下拉框中没有可用的ELB,可以单击“创建弹性负载均衡”进入弹性负载均衡页面创建一个满足需要的ELB。
警告:为保证集群负载均衡和高可用,避免业务中断风险,不建议业务直连单CN,请配置负载均衡。
使用已有
- 单击“下一步:高级配置”。
- 填写集群配置参数。
表4 集群配置参数说明 参数名
参数解释
样例值
集群名称
设置数据仓库集群的名称。
集群名称长度为4到64个字符,且不超过64个字节,1个中文字符为3个字节,其他字符为1个字节,不区分大小写,必须以字母或中文开头,可以包含中文、字母、数字、中划线或者下划线,不能包含其他的特殊字符。
说明:如果当前控制台界面不支持修改集群名称,请联系技术支持人员。
dws-demo
集群版本
显示集群中安装的数据库实例版本。样例值仅供参考,请以实际显示版本号为准。
-
默认数据库
显示集群的默认数据库名称“gaussdb”。
说明:“gaussdb”为默认数据库名称,暂不支持修改。
gaussdb
管理员用户
设置数据库管理员用户名称。
用户命名要求如下:
- 只能由小写字母、数字或下划线组成。
- 必须以小写字母或下划线开头。
- 长度为6~64个字符。
- 用户名不能为GaussDB(DWS)数据库的关键字。GaussDB(DWS)数据库的关键字,具体请参见《SQL语法参考》中关键字章节。
dbadmin
管理员密码
设置数据库管理员用户的密码。
密码复杂度要求如下:- 密码长度为12-32个字符。
- 不能与用户名或倒序的用户名相同。
- 密码至少包含大写字母、小写字母、数字和特殊字符四类中的三类,其中可输入的特殊字符为:(~!?,.:;_(){}[]/<>@#%^&*+|\=-)。
- 弱密码检查。
说明:请妥善保管并定期更新密码,避免安全风险。
-
确认密码
重复输入一次数据库管理员用户的密码。
-
数据库端口
设置客户端或应用程序连接集群数据库时使用的端口。
支持的端口范围为8000~30000。
说明:已创建的集群不支持修改数据库端口,只能在创建时进行指定。
8000
开启IPv6功能
设置该集群是否开启IPv6双栈功能。开关开启时,客户端或应用程序可通过IPv6的IP连接数据库。
说明:开启IPv6需同时满足以下3个条件:
- 7配置网络时的子网是IPv6双栈子网。
- 集群规格支持IPv6且支持最多网卡数大于等于3。
- 仅8.2.1.210及以上集群版本支持。
-
集群时区
支持设置租户集群时区,包含系统OS时区、集群数据仓库时区。
-
- 配置集群所属的企业项目。已开通企业项目管理服务的用户才可以配置该参数。默认值为default。
企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。
用户可以选择默认的企业项目“default”或其他已有的企业项目。如果要创建新的企业项目,请登录企业管理控制台进行创建,详细操作请参考《企业管理用户指南》。
- 设置高级配置。选择“自定义”时,可以设置以下高级配置参数,若选择“默认配置”,以下参数将使用它们的默认值。
- 备份设备
设置当前集群使用的备份设备,各参数配置原则如表5所示。
- CN部署量
CN即协调节点(Coordinator),负责接收来自应用的访问请求,并向客户端返回执行结果。此外,协调节点还负责分解任务,并调度任务分片在各DN上并行执行。
取值范围为3~集群节点数,最大值为20,默认值为3。在大规模集群下,建议部署多个CN。
- 标签
标签(Tag)用于标识集群的键值对。“键”和“值”请参见表6。默认未给集群添加标签。
如您的组织已经设定GaussDB(DWS)的相关标签策略,则需按照标签策略规则为集群添加标签。标签如果不符合标签策略的规则,则可能会导致集群创建失败,请联系组织管理员了解标签策略详情。
有关标签的更多信息,请参见标签简介。
表6 标签配置参数 参数
参数说明
样例值
键
有以下选择:
- 在输入框的下拉列表中选择预定义标签键或集群已有的资源标签键。
说明:
如果添加预定义标签,用户需要预先在标签管理服务中创建好预定义标签,然后在“键”的下拉框中进行选择。用户可以通过单击“查看预定义标签”进入标签管理服务的“预定义标签”页面,然后单击“创建标签”来创建新的预定义标签。更多信息请参见《标签管理服务用户指南》中的创建预定义标签。
- 在输入框中输入标签键名称。输入标签键的最大长度为128个字符,不能为空字符串,且首尾字符不能为空格。
key01
值
用户可以选择:
value01
- 在输入框的下拉列表中选择预定义标签键或集群已有的资源标签键。
- 加密数据库
开启后,GaussDB(DWS)将使用KMS(密钥管理服务)为集群及其快照的数据启用加密功能。
每个区域的每个项目首次启用数据库加密时,系统会弹出一个“创建委托”的对话框,单击“是”创建名为“DWSAccessKMS”的委托以授权GaussDB(DWS)访问KMS,若单击“否”将不会启用加密功能。然后在“密钥名称”的下拉列表中选择已创建的KMS密钥。如果没有KMS密钥,可以登录KMS服务进行创建,详细操作请参见《数据加密服务用户指南》。
- “加密数据库”开关只有拥有“Tenant Admin”权限的用户才能查看和开关。
- 默认情况下,只有华为云账号用户或拥有Security Administrator权限的用户才具备查询委托和创建委托的权限。账号中的IAM用户,默认没有查询委托和创建委托的权限,此时需联系有权限的用户在当前页面完成对GaussDB(DWS)的委托授权。
- 数据库加密功能一旦开启就无法关闭。
- 开启数据库加密功能后,用于加密GaussDB(DWS)数据库的KMS密钥在使用过程中不能被禁用、删除或冻结,否则会导致GaussDB(DWS)集群异常或数据库不可用。
- 开启数据库加密功能后不支持使用openAPI恢复创建成功的快照。
- 备份设备
- 单击“下一步:确认配置”,进入配置详情页面。
如果申请的节点数(个)、vCPU(核)或内存(GB)超过了用户的剩余配额,系统会弹出警告窗口提示用户配额不足并显示详细的剩余配额和当前申请配额信息。用户可以在警告窗口单击“申请扩大配额”以提工单的形式申请扩大配额。在通过审理之后,服务会更新您的配额并进行通知。关于配额的具体操作说明,请参见关于配额。
- 购买周期,如果是包年/包月计费模式,用户可根据需求选择购买时长。
表7 购买周期 参数
描述
购买时长(包年/包月)
确定购买时长。若用户购买时长越长,则相应的折扣力度越大。在页面底部,将显示“参考价格”,用户可以单击“了解计费详情”,在弹出的“产品价格详情”页面中,查看具体的计费详情。
自动续费(包年/包月)
- 默认不勾选,不进行自动续费。
- 续费规则:
- 按月购买:自动续费周期为1个月。
- 按年购买:自动续费周期为1年。
示例:客户A,创建集群选择了包年/包月计费方式,且购买时设置了自动续费,若购买时长为8个月,则自动续费周期为1个月;若购买时长为2年,则自动续费周期为1年。续费扣款说明请参见扣费规则说明。
- 单击“立即购买”。如果是包年/包月计费模式,单击“立即购买”,进入付款页面。
提交成功后开始创建。单击“返回集群列表”按钮返回集群管理页面,所创集群的初始状态为“创建中”,集群创建需要时间,请等待一段时间。创建成功后状态更新为“可用”,用户可以开始使用集群。
- 集群创建完后,需要联系技术支持人员进行OS Core配置,以便出现Core dump问题时能够完整的收集内存转储文件,尽快定位问题根因。配置方法请联系技术支持人员获取《GaussDB(DWS) Core配置标准方案》。
- 为保证集群负载均衡和高可用,避免CN单点故障问题,生产业务环境下,要求集群创建后进行ELB绑定,参见为GaussDB(DWS)集群绑定和解绑弹性负载均衡。
创建集群失败处理办法
如果集群创建失败,您可以进入GaussDB(DWS)管理控制台的“集群 > 专属集群”页面,查看集群的状态及创建失败的原因。
查看集群创建失败的原因
- 登录GaussDB(DWS)管理控制台,在左侧导航树,单击“集群 > 专属集群”,进入“专属集群”页面。
- 在集群列表中,找到“集群状态”显示为“创建失败”的集群。
- 单击“集群状态”列的可查看集群创建失败的原因。
如果您的问题仍无法解决,请联系技术支持人员。
删除创建失败的集群
当不再需要创建失败的集群时,可以将其删除。建议您先查看集群创建失败的原因后,再删除集群。
- 登录GaussDB(DWS)管理控制台,在左侧导航树,单击“集群 > 专属集群”,进入“专属集群”页面。
- 在集群列表中,找到需要删除的创建失败的集群,然后在该集群所在行选择“更多 > 删除”。
- 在弹出框中,再次进行删除确认,可以选择是否执行以下操作:
- 立即创建集群快照
如果集群状态无异常,可以单击“立即创建集群快照”,跳转至快照列表页面,单击“创建快照”,为待删除的集群创建一个最新的快照,详情请参见手动快照。等快照创建完成后,请再返回“专属集群”页面执行删除集群的操作。
- 关联资源名称
- 立即创建集群快照
- 确认无误后,输入“DELETE”或单击“一键输入”,并单击“确定”,删除此集群。此时集群列表中集群状态会显示为“删除中”,并显示集群删除进度。
如果待删除集群使用了自动创建的安全组,且该自动创建的安全组没有被别的集群使用,删除集群时,该安全组也会被一并删除。