更新时间:2024-03-18 GMT+08:00
分享

创建DWS 2.0集群

如果用户需要在华为云环境中使用GaussDB(DWS) ,首先要创建一个数据仓库集群。创建数据仓库集群时默认采用包年/包月付费方式,相比按需付费方式更优惠,您可根据业务需要,定制相应计算能力和存储空间的GaussDB(DWS) 集群。您也可以采用按需付费方式,即节点按实际使用时长计费,计费周期为一小时。这种购买方式比较灵活,可以即开即停,按实际使用时长计费。

本章节为您介绍如何在GaussDB(DWS) 管理控制台创建一个数据仓库集群。

  • 为保证集群负载均衡和高可用,避免CN单点故障问题,若用户创建时未绑定ELB,可在集群创建后集群详情页面进行ELB绑定,参见集群绑定和解绑ELB
  • 同账号下的两个GaussDB(DWS)集群在物理层面是隔离的,不能共享一份数据,用户可通过Foreign Table方式从远端GaussDB(DWS)导入数据到本端GaussDB(DWS),详情请参见导入远端DWS数据源

创建集群前的准备

  • 评估集群节点规格

    您可以根据数据量、业务负载以及性能需求,选择能够支撑业务应用的节点数量,数量越多,存储与计算能力越强。

    刚开始使用GaussDB(DWS) 服务时,您也可以先创建一个规格较小的集群,今后随着数据量和业务负载的变化,再自由调整集群规模和节点规格,自由扩展而不中断业务。详情请参见扩容集群

  • 请确定用户可使用的节点数满足如下条件,否则系统会提示无法创建集群。

    用户可使用的节点数取决于所选产品类型,其中实时数仓(单机部署)集群为单个节点, 且只能为一个节点;其他产品类型用户可使用节点数大于或者等于3。用户可使用的节点数可在“集群 > 专属集群”页面查看。

创建集群

  1. 进入创建数据仓库集群页面
  2. 选择“区域”

    表1 区域参数说明

    参数名

    参数解释

    样例值

    区域

    选择集群节点实际工作区域。

    有关区域的详细信息,请参见地区和终端节点

    华北-北京四

    可用分区

    选择集群工作区域下关联的可用区。

    关于区域和可用区的描述,请参见区域和可用区

    通用可用区

  3. 选择“计费模式”。计费模式说明详情请参见计费说明

    • 包年/包月:当用户选择包年/包月计费模式时,除了执行以下步骤之外还需在12设置购买时长。

      如果当前控制台界面不支持该计费模式,请联系技术支持人员。

    • 按需计费(小时):选择该模式,继续执行2

  4. 选择"可用分区",用户可根据需求选择“单AZ”或“多AZ”。

    • 多AZ集群仅8.2.0.100及以上集群版本支持。
    • 只有当前选择的区域可用分区数量>=3时会展示“多AZ”选项,不满足该条件只能创建单AZ集群。
    • 多AZ集群目前只支持同时选择3个AZ,主机节点均匀分配在选择的3个AZ中。
    • 多AZ集群只支持产品类型为标准数仓的DWS 2.0版本。
    • 多AZ集群节点数量必须满足3的倍数。
    • 多AZ集群只支持单节点DN数量<=2的规格。

  5. 选择“产品类型”、“CPU架构”和“节点规格”。

    • 设置的节点数量不能大于用户可使用的节点配额或256个。如果可使用的节点配额不足,用户可以单击“申请扩大配额”以提工单的形式申请更多节点配额。
    • 如果有符合业务需求的包年/包月节点,建议先使用包年/包月的节点节约费用。用户可在计费模式中选择“包年/包月”进行购买。
    • 集群创建成功后,“产品类型”不能再进行更改,请参考数据仓库类型了解不同产品类型功能上的具体差异。
    图1 选择节点规格
    表2 主机规格参数说明

    参数名

    参数解释

    样例值

    产品类型

    产品类型有:

    • 标准数仓:高性价比,支持冷热数据分析,存储、计算弹性伸缩,无限算力、无限容量,并按需、按量计价。适用于“库、仓、市、湖”一体化的融合分析业务,是OLAP分析场景的首选。
    • IoT数仓:在标准数仓基础上,提供高效的时序计算和IoT分析能力,支持实时和历史数据关联,内置时序算子,最高40x压缩。适用于物联网IoT等实时分析场景。
    • 实时数仓:在大规模数据查询和分析能力基础上,提供高并发、高性能、低时延、低成本的事务处理能力。适用于HTAP混合负载场景,“一库两用,生产即分析”,支持单机部署和集群部署两种部署方式。
    说明:
    • 创建实时数仓时,用户可根据需求选择集群部署或单机部署:
      • 集群部署:创建集群时可选择带有h的节点规格(例如:dwsx2.h.4xlarge.4.c6),此时实时数仓支持集群部署,支持节点扩容、资源池等功能。
      • 单机部署:创建集群时可选择带有h1的节点规格(例如:dwsx2.h1.xlarge.2.c6),此时实时数仓只支持单机部署,单机形态不提供高可用服务,因此存储成本可减半,单机模式服务可用性通过ECS自动重建实现,数据可靠性通过EVS多副本机制保证。单机形态性价比更高,建议用于轻量化业务。

    标准数仓

    计算类型

    计算类型有:

    • 弹性云服务器:基于分布式架构的,可弹性扩展的虚拟块存储服务;具有高数据可靠性,高I/O吞吐能力,能够保证任何一个副本故障时快速进行数据迁移恢复,避免单一硬件故障造成数据丢失。支持云服务器和云硬盘的备份及恢复可预先设置好自动备份策略,实现在线自动备份。

    -

    存储类型

    存储类型有:

    -

    CPU架构

    CPU架构有:

    • X86
    • 鲲鹏
    说明:

    X86和鲲鹏只是底层架构不一致,应用层不感知,sql语法一致,如果创建集群时提示X86售罄,可以选择鲲鹏架构。

    -

    节点规格

    请根据业务需求合理选择节点规格。在节点规格列表中展示了每一种节点规格单个节点的vCPU、内存和建议使用场景。

    GaussDB(DWS)节点规格价格详情,请参见GaussDB(DWS)价格详情

    GaussDB(DWS)支持的节点规格详情,请参见数据仓库规格

    dws2.m6.4xlarge.8

    热数据存储

    每节点可用存储容量。

    说明:
    • 您申请的存储空间会有必要的文件系统开销,这些开销包括索引节点,以及数据库运行必须的空间。存储空间的数值必须为100的整倍数。
    • 界面上显示200GB/节点是用户的业务数据实际的存储容量,例如节点数量选为3个,那么资源总量为600GB。
    • 选择冷热数据存储时默认会自动创建表空间,用户不需要手动创建,该特性仅8.1.3及以上集群版本支持。

    -

    冷数据存储

    冷数据采用OBS存储性价比高,按实际数据存储量计费无需事先购买。

    -

    节点数量

    选择集群中的节点个数。

    支持的节点数范围为3~256。

    3

    资源总量(GB)

    显示集群的总容量。

    各个规格对应的存储容量均为数据库存储数据的实际空间,所展示存储容量已扣除副本、RAID所消耗的磁盘空间。

    -

    表3 规格说明(仅在专属云DEC场景下支持)

    节点规格

    vCPU核数

    内存大小(GB)

    架构

    规格类型

    dwsx2.2xlarge.dec

    8

    64

    X86

    ECS/存算分离EVS

    dwsx2.8xlarge.dec

    32

    256

    X86

    ECS/存算分离EVS

    dwsx2.16xlarge.dec

    64

    512

    X86

    ECS/存算分离EVS

    dwsk2.2xlarge.dec

    8

    64

    ARM

    ECS/存算分离EVS

    dwsk2.8xlarge.dec

    32

    256

    ARM

    ECS/存算分离EVS

    dwsk2.12xlarge.dec

    48

    384

    ARM

    ECS/存算分离EVS

    dws2.olap.4xlarge.i3.dec

    16

    128

    X86

    ECS/本地直通

    dws2.olap.8xlarge.i3.dec

    32

    256

    X86

    ECS/本地直通

    dws2.olap.16xlarge.i3.dec

    64

    512

    X86

    ECS/本地直通

    dws2.olap.4xlarge.ki1.dec

    16

    64

    ARM

    ECS/本地直通

    dws2.olap.8xlarge.ki1.dec

    32

    128

    ARM

    ECS/本地直通

    dws2.olap.16xlarge.ki1.dec

    64

    228

    ARM

    ECS/本地直通

  6. 单击“下一步:网络配置”。
  7. 配置网络。

    图2 网络参数
    表4 网络参数说明

    参数名

    参数解释

    样例值

    虚拟私有云

    指定集群节点使用的虚拟专用网络,实现不同业务的网络隔离。

    首次创建数据仓库集群时,如果未配置过虚拟私有云,可以单击“查看虚拟私有云”进入虚拟私有云管理控制台,新创建一个满足需求的虚拟私有云。

    如何创建虚拟私有云,具体请参见《虚拟私有云用户指南》中的创建虚拟私有云和子网章节。

    在下拉框中选择一个虚拟私有云后,单击“查看虚拟私有云”可以进入虚拟私有云管理控制台查看虚拟私有云的详细信息。

    单击可以刷新“虚拟私有云”下拉框中选项值。

    vpc-dws

    子网

    指定虚拟私有云的一个子网。

    集群使用子网实现与其他网络的隔离,并独享所有网络资源,以提高网络安全。

    说明:

    集群创建成功后不支持修改子网,如果一定需要修改,可通过集群恢复快照到新集群,新集群的数据和旧集群一样且新集群在创建时子网可以更改。

    subnet-dws

    安全组

    指定虚拟私有云的安全组。

    安全组限制安全访问规则,加强集群与其它服务间的安全访问。

    • 自动创建安全组

      系统默认选中“自动创建安全组”,设置为该选项时,系统将会自动创建一个默认安全组。

      默认安全组的规则如下:出方向允许所有访问,入方向只开放用户设置的GaussDB(DWS) 集群的数据库端口。

      默认安全组的名称,其格式如下:dws-<集群名称>-<GaussDB(DWS) 集群的数据库端口>,例如,dws-dws-demo-8000。

      说明:

      如果安全组和安全组规则的配额不足,提交创建集群申请后系统会报错,用户可以选择已有的安全组后重试。

    • 手动创建并配置安全组

      用户也可以登录VPC管理控制台手动创建一个安全组,然后回到GaussDB(DWS) 创建集群页面,单击“安全组”下拉列表旁边的按钮,刷新后在“安全组”下拉列表中选择新建的安全组。

      为了使GaussDB(DWS) 客户端可以连接集群,用户需要在新建的安全组中添加一条入规则,开放GaussDB(DWS) 集群的数据库端口的访问权限。入规则示例如下,详情请参见添加入方向规则

      • 协议:TCP。
      • 端口范围:8000。指定为创建GaussDB(DWS) 集群时设置的数据库端口,这个端口是GaussDB(DWS) 用于接收客户端连接的端口。
      • 源地址:选中“IP地址”,然后指定为客户端主机的IP地址,例如“192.168.0.10/32”。

      安全组完成创建后,不支持更换,只支持修改。如何修改安全组请参见修改安全组

    自动创建安全组

    公网访问

    指定用户是否可以在互联网上使用客户端连接集群数据库。支持如下方式:

    • “暂不使用”:暂不使用弹性IP。如DWS使用于生产环境,则需绑定ELB,则不选择使用弹性IP,通过绑定ELB后,再从ELB页面进行弹性IP绑定。
    • 现在购买:用户指定弹性IP的带宽,系统将自动为集群分配独享带宽的弹性IP,通过弹性IP可以从互联网对集群进行访问。自动分配的弹性IP的带宽名称都是以集群名称开头的。
    • “使用已有”:为集群绑定指定的弹性IP。如果下拉框中没有可用的弹性IP,可以单击“创建弹性IP”进入弹性公网IP页面创建一个满足需要的弹性IP。带宽可根据用户需要设置。
    说明:
    • 每个区域的每个项目首次使用弹性IP绑定功能时,系统将提示创建名称为“DWSAccessVPC”委托以授权GaussDB(DWS) 访问VPC。授权成功后,GaussDB(DWS) 可以在绑定弹性IP的虚拟机故障时切换至健康虚拟机。
    • 默认情况下,只有华为云账号或拥有Security Administrator权限的用户才具备查询委托和创建委托的权限。账号中的IAM用户,默认没有查询委托和创建委托的权限,在使用弹性IP绑定功能时页面会屏蔽绑定按钮,此时需联系有“DWS Administrator”权限的用户在当前页面完成对GaussDB(DWS) 的委托授权。
    • 公网访问选择“暂不使用”,即不启用公网访问集群。在集群创建成功后,如果用户想通过公网访问集群,可以先为集群绑定弹性IP再创建公网域名,详情请参见创建公网域名
    • 如果是生产环境,集群需要绑定弹性负载均衡(ELB),再通过ELB绑定弹性公网IP,此处选择“暂不使用”。

    现在购买

    弹性负载均衡

    指定用户是否绑定弹性负载均衡,利用ELB健康检查机制将集群的CN请求快速转发到正常工作的CN节点上,当有CN故障节点时,也能第一时间切换流量到健康节点上,最大化降低集群访问故障。当前支持同VPC绑定ELB和跨VPC绑定ELB两种类型操作。

    • “暂不使用”:暂不使用ELB。如DWS使用于生产环境,则需绑定ELB,如果不选择使用弹性IP,通过绑定ELB后,可从ELB页面进行弹性IP绑定。
    • “使用已有”:为集群绑定指定的ELB。如果下拉框中没有可用的ELB,可以单击“创建弹性负载均衡”进入弹性负载均衡页面创建一个满足需要的ELB。

    使用已有

    带宽

    “公网访问”选择“现在购买”时,需指定弹性IP的带宽,设置范围:1~100Mbit/s。

    50Mbit/s

  8. 单击“下一步:高级配置”。
  9. 填写集群配置参数。

    表5 集群配置参数说明

    参数名

    参数解释

    样例值

    集群名称

    设置数据仓库集群的名称。

    集群名称长度为4到64个字符,不区分大小写,必须以字母或中文开头,可以包含中文、字母、数字、中划线或者下划线,不能包含其他的特殊字符。

    说明:

    如果当前控制台界面不支持修改集群名称,请联系技术支持人员。

    dws-demo

    集群版本

    显示集群中安装的数据库实例版本。图片仅供参考,请以实际显示版本号为准。

    -

    默认数据库

    显示集群的默认数据库名称gaussdb

    说明:

    gaussdb为默认数据库名称,暂不支持修改。

    gaussdb

    管理员用户

    设置数据库管理员用户名称。

    用户命名要求如下:

    • 只能由小写字母、数字或下划线组成。
    • 必须以小写字母或下划线开头。
    • 长度为6~64个字符。
    • 用户名不能为GaussDB(DWS) 数据库的关键字。GaussDB(DWS) 数据库的关键字,具体请参见《SQL语法参考》中关键字章节。

    dbadmin

    管理员密码

    设置数据库管理员用户的密码。

    密码复杂度要求如下:
    • 密码长度为12-32个字符。
    • 不能与用户名或倒序的用户名相同。
    • 密码至少包含大写字母、小写字母、数字和特殊字符四类中的三类,其中可输入的特殊字符为:(~!?,.:;_(){}[]/<>@#%^&*+|\=-)。
    • 弱密码检查。
    说明:

    请妥善保管并定期更新密码,避免安全风险。

    -

    确认密码

    重复输入一次数据库管理员用户的密码。

    -

    数据库端口

    设置客户端或应用程序连接集群数据库时使用的端口。

    支持的端口范围为8000~30000。

    说明:

    已创建的集群不支持修改数据库端口,只能在创建时进行指定。

    8000

    开启IPV6功能

    设置该集群是否开启IPV6双栈功能。开关开启时,客户端或应用程序可通过IPV6的IP连接数据库。

    说明:

    开启IPV6需同时满足以下3个条件:

    • 7配置网络时的子网是IPV6双栈子网。
    • 集群规格支持IPV6且支持最多网卡数大于等于3。
    • 仅8.2.1.210及以上集群版本支持。

    -

    集群时区

    支持设置租户集群时区,包含系统OS时区,集群数据仓库时区。

    -

  10. 配置集群所属的企业项目。已开通企业项目管理服务的用户才可以配置该参数。默认值为default。

    企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。

    您可以选择默认的企业项目“default”或其他已有的企业项目。如果要创建新的企业项目,请登录企业管理控制台进行创建,详细操作请参考《企业管理用户指南》。

  11. 设置高级配置。选择“自定义”时,您可以设置以下高级配置参数,若选择“默认配置”,以下参数将使用它们的默认值。

    图3 自定义高级配置
    • CN部署量

      CN即协调节点(Coordinator),负责接收来自应用的访问请求,并向客户端返回执行结果,此外,协调节点还负责分解任务,并调度任务分片在各DN上并行执行。

      取值范围为3~集群节点数,最大值为20,默认值为3。在大规模集群下,建议部署多个CN。

    • 标签

      标签(Tag)用于标识集群的键值对。“键”和“值”请参见表6。默认未给集群添加标签。

      如您的组织已经设定GaussDB(DWS)的相关标签策略,则需按照标签策略规则为集群添加标签。标签如果不符合标签策略的规则,则可能会导致集群创建失败,请联系组织管理员了解标签策略详情。

      有关标签的更多信息,请参见标签简介

      表6 标签配置参数

      参数

      参数说明

      样例值

      您可以选择:

      • 在输入框的下拉列表中选择预定义标签键或集群已有的资源标签键。
        说明:

        如果添加预定义标签,用户需要预先在标签管理服务中创建好预定义标签,然后在“键”的下拉框中进行选择。用户可以通过单击“查看预定义标签”进入标签管理服务的“预定义标签”页面,然后单击“创建标签”来创建新的预定义标签。更多信息请参见《标签管理服务用户指南》中的创建预定义标签

      • 在输入框中输入标签键名称。输入标签键的最大长度为36个字符,不能为空字符串,且首尾字符不能为空格。
        不能包含“=”,“*”,“<”,“>”,“\”,“,”,“|”,“/”。
        说明:

        同一集群中的键名不能重复。

      key01

      您可以选择:

      • 在输入框的下拉列表中选择预定义标签值或集群的资源标签值。
      • 在输入框中输入标签值。输入标签值的最大长度为43个字符,首尾字符不能为空格,可以为空字符串。

        不能包含“=”,“*”,“<”,“>”,“\”,“,”,“|”,“/”。

      value01

    • 加密数据库

      表示不启用数据库加密功能,默认为不启用。

      表示开启数据库加密功能。开启后,GaussDB(DWS) 将使用KMS(密钥管理服务)为集群及其快照的数据启用加密功能。

      每个区域的每个项目首次启用数据库加密时,系统会弹出一个“创建委托”的对话框,单击“是”创建名为“DWSAccessKMS”的委托以授权GaussDB(DWS) 访问KMS,若单击“否”将不会启用加密功能。然后在“密钥名称”的下拉列表中选择已创建的KMS密钥。如果没有KMS密钥,可以登录KMS服务进行创建,详细操作请参见《数据加密服务用户指南》

      • “加密数据库”开关只有带“Tenant Admin”权限的用户才能查看和开关。
      • 默认情况下,只有华为云账号或拥有Security Administrator权限的用户才具备查询委托和创建委托的权限。账号中的IAM用户,默认没有查询委托和创建委托的权限,此时需联系有权限的用户在当前页面完成对GaussDB(DWS) 的委托授权。
      • 数据库加密功能一旦开启就无法关闭。
      • 开启数据库加密功能后,用于加密GaussDB(DWS) 数据库的KMS密钥在使用过程中不能被禁用、删除或冻结,否则会导致GaussDB(DWS) 集群异常或数据库不可用。
      • 开启数据库加密功能后创建的快照不支持使用openAPI做恢复。
      • 方式一:从密钥中选择密钥名称。

      • 方式二:输入密钥ID。输入在KMS侧给当前租户进行授权的KMS密钥ID,详情请参见查看密钥

        当跳转至KMS侧创建授权时被授权对象必须是账号,不能是用户。并且授权操作必须至少包含“查询密钥信息”、“加密数据”、“解密数据”3项权限。

  12. 购买周期,如果是包年/包月计费模式,用户可根据需求选择购买时长。

    表7 购买周期

    参数

    描述

    购买时长(包年/包月)

    确定购买时长。若用户购买时长较长,则相应的折扣力度越大。在页面底部,将显示“参考价格”,您可以单击“了解计费详情”,在弹出的“产品价格详情”页面中,查看具体的计费详情。

    自动续费(包年/包月)

    • 默认不勾选,不进行自动续费。
    • 续费规则:
      • 按月购买:自动续费周期为1个月。
      • 按年购买:自动续费周期为1年。

      示例:客户A,创建集群选择了包年/包月计费方式,且购买时设置了自动续费,若购买时长为8个月,则自动续费周期为1个月;若购买时长为2年,则自动续费周期为1年。续费扣款说明请参见扣费规则说明

  13. 单击“下一步:确认配置”,进入规格详情页面。

    如果申请的节点数(个)、vCPU(核)或内存(GB)超过了用户的剩余配额,系统会弹出警告窗口提示用户配额不足并显示详细的剩余配额和当前申请配额信息。用户可以在警告窗口单击“申请扩大配额”以提工单的形式申请扩大配额。

    关于配额,请参见什么是用户配额?

  14. 如果是包年/包月计费模式,单击“去支付”,进入付款页面。
  15. 单击“立即购买”

    提交成功后开始创建。单击“返回集群列表”返回集群管理页面,所创集群的初始状态为“创建中”,集群创建需要时间,请等待一段时间。创建成功后状态更新为“可用”,用户可以开始使用集群。

    • 集群创建完后,需要联系技术支持人员进行OS Core配置,以便出现Core dump问题的时候能够完整收集内存转储文件,尽快定位问题根因。配置方法请联系技术支持人员获取《GaussDB(DWS) Core配置标准方案》
    • 为保证集群负载均衡和高可用,避免CN单点故障问题,客户生产业务下,要求集群创建后进行ELB绑定,参见集群绑定和解绑ELB

分享:

    相关文档

    相关产品