更新时间:2025-09-23 GMT+08:00

创建DWS存算一体集群

如果用户需要在华为云环境中使用DWS,首先要创建一个数据仓库集群。

本章节介绍如何在DWS管理控制台创建一个数据仓库集群。

创建集群前的准备

  • 评估集群节点规格

    用户可以根据数据量、业务负载以及性能需求,选择能够支撑业务应用的节点数量,数量越多,存储与计算能力越强。

    首次使用DWS服务,可以先创建一个规格较小的集群,今后随着数据量和业务负载的变化,再自由调整集群规模和节点规格,自由扩展而不中断业务。详情请参见集群扩容

  • 确定用户可使用的节点数

    用户可使用的节点数需满足以下条件,否则系统会提示无法创建集群:

    可使用的节点数取决于所选产品类型,可使用节点数大于或者等于3。

创建集群

  1. 登录DWS管理控制台。
  2. 选择左侧导航栏的“专属集群 > 集群列表”
  3. “专属集群”页面,单击“创建数据仓库集群”
  4. 选择“区域”,选择集群节点实际工作区域。

    有关区域的详细信息,请参见地区和终端节点

  5. 选择“可用分区”,用户可根据需求选择“单AZ”或“多AZ”。

    关于区域和可用分区的描述,请参见如何选择DWS区域和可用分区

    • 多AZ集群仅8.2.0.100及以上集群版本支持。
    • 只有当前选择的区域可用分区数量>=3时会展示“多AZ”选项,不满足该条件只能创建单AZ集群。
    • 多AZ集群目前只支持同时选择3个AZ,主机节点均匀分配在选择的3个AZ中。
    • 多AZ集群节点数量必须满足3的倍数。
    • 多AZ集群只支持单节点DN数量<=2的规格。

  6. 配置数据仓库参数,请参见表1进行配置。

    表1 主机规格参数说明

    参数名

    参数解释

    样例值

    产品类型

    产品类型有:

    • 存算一体:面向数据分析场景,为用户提供高性能、高扩展、高可靠、高安全、低时延、易运维的企业级数仓服务,支持2048节点、20PB级超大规模数据分析能力,适用于“库、仓、市、湖”一体化的融合分析业务。

    -

    节点规格

    请根据业务需求合理选择节点规格。在节点规格列表中展示了每一种节点规格单个节点的vCPU、内存和建议使用场景。

    dws.m3.xlarge

    热数据存储

    每节点可用存储容量。

    说明:
    • 申请的存储空间会有必要的文件系统开销,这些开销包括索引节点,以及数据库运行必须的空间。存储空间的数值必须为100的整倍数。
    • 界面上显示200GB/节点是用户的业务数据实际的存储容量,例如节点数量选为3个,那么资源总量为600GB。
    • 选择冷热数据存储时默认会自动创建表空间,用户不需要手动创建,该特性仅8.1.3及以上集群版本支持。

    -

    节点数量

    选择集群中的节点个数。

    支持的节点数范围为3~256。

    3

    资源总量(GB)

    显示集群的总容量。

    各个规格对应的存储容量均为数据库存储数据的实际空间,所展示存储容量已扣除副本、RAID所消耗的磁盘空间。

    -

  7. 单击“下一步:网络配置”。
  8. 配置网络。

    表2 网络参数说明

    参数名

    参数解释

    样例值

    虚拟私有云

    指定集群节点使用的虚拟专用网络,实现不同业务的网络隔离。

    首次创建数据仓库集群时,如果未配置过虚拟私有云,可以单击“查看虚拟私有云”进入虚拟私有云管理控制台,新创建一个满足需求的虚拟私有云。

    如何创建虚拟私有云,具体请参见《虚拟私有云用户指南》中“虚拟私有云和子网 > 创建虚拟私有云和子网”章节。

    在下拉框中选择一个虚拟私有云后,单击“查看虚拟私有云”可以进入虚拟私有云管理控制台查看虚拟私有云的详细信息。

    单击可以刷新“虚拟私有云”下拉框中选项值。

    vpc-dws

    子网

    指定虚拟私有云的一个子网。

    集群使用子网实现与其他网络的隔离,并独享所有网络资源,以提高网络安全。

    说明:

    集群创建成功后不支持修改子网,如果一定需要修改,可通过集群恢复快照到新集群,新集群的数据和旧集群一样且新集群在创建时子网可以更改。

    subnet-dws

    安全组

    指定虚拟私有云的安全组。

    安全组限制安全访问规则,加强集群与其它服务间的安全访问。

    • 自动创建安全组

      系统默认选中“自动创建安全组”,设置为该选项时,系统将会自动创建一个默认安全组。

      默认安全组的规则如下:出方向允许所有访问,入方向只开放用户设置的DWS 集群的数据库端口。

      默认安全组的名称,其格式如下:dws-<集群名称>-<DWS 集群的数据库端口>,例如,dws-dws-demo-8000。

      说明:

      如果安全组和安全组规则的配额不足,提交创建集群申请后系统会报错,用户可以选择已有的安全组后重试。

    • 手动创建并配置安全组

      用户也可以登录VPC管理控制台手动创建一个安全组,创建成功后返回到DWS创建集群页面,单击“安全组”下拉列表旁边的按钮,刷新后在“安全组”下拉列表中选择新建的安全组。

      为了使DWS客户端可以连接集群,用户需要在新建的安全组中添加一条入规则,开放DWS集群的数据库端口的访问权限。入规则示例如下:

      • 协议:TCP。
      • 端口范围:8000。指定为创建DWS集群时设置的数据库端口,这个端口是DWS用于接收客户端连接的端口。
      • 源地址:选中“IP地址”,然后指定为客户端主机的IP地址,例如“192.168.0.10/32”。

      DWS集群创建成功后,安全组支持更改为其他安全组,也可以在当前的安全组中添加、删除或修改安全组规则。如何修改安全组请参见修改安全组。集群更换安全组过程中有短暂的业务中断,请谨慎操作。为了更好的网络性能,选择安全组时不要多于5个。

    自动创建安全组

    公网访问

    指定用户是否可以在互联网上使用客户端连接集群数据库。支持如下方式:

    • “暂不使用”:暂不使用弹性IP。
    • “自动分配”:用户指定弹性IP的带宽,系统将自动为集群分配独享带宽的弹性IP,通过弹性IP可以从互联网对集群进行访问。自动分配的弹性IP的带宽名称以集群名称开头。
    • “使用已有”:为集群绑定指定的弹性IP。如果下拉框中没有可用的弹性IP,可以单击“查看弹性公网IP”进入弹性公网IP页面创建一个满足需要的弹性IP。带宽可根据用户需要设置。
    说明:
    • 每个区域的每个项目首次使用弹性IP绑定功能时,系统将提示创建名称为“DWSAccessVPC”的委托以授权DWS 访问VPC。授权成功后,DWS可以在绑定弹性IP的虚拟机故障时切换至健康虚拟机。
    • 默认情况下,只有华为云账号用户或拥有Security Administrator权限的用户才具备查询委托和创建委托的权限。账号中的IAM用户,默认没有查询委托和创建委托的权限,在使用弹性IP绑定功能时页面会屏蔽绑定按钮,此时需联系有“DWS Administrator”权限的用户在当前页面完成对DWS的委托授权。
    • 公网访问选择“暂不使用”,即不启用公网访问集群。在集群创建成功后,如果用户想通过公网访问集群,可以先为集群绑定弹性IP再创建公网域名,详情请参见创建公网域名

    自动分配

    带宽

    “公网访问”选择“自动分配”时,需设置弹性IP的带宽,设置范围:1~100Mbit/s。

    50Mbit/s

    弹性负载均衡

    指定用户是否绑定弹性负载均衡,利用ELB健康检查机制将集群的CN请求快速转发到正常工作的CN节点上,当有CN故障节点时,也能第一时间切换流量到健康节点上,最大化降低集群访问故障。

    • “暂不使用”:暂不使用ELB。
    • “使用已有”:为集群绑定指定的ELB。如果下拉框中没有可用的ELB,可以单击“创建弹性负载均衡”进入弹性负载均衡页面创建一个满足需要的ELB。
    警告:

    为保证集群负载均衡和高可用,避免业务中断风险不建议业务直连单CN,请配置负载均衡。

    使用已有

  9. 单击“下一步:高级配置”。
  10. 填写集群配置参数。

    表3 集群配置参数说明

    参数名

    参数解释

    样例值

    集群名称

    设置数据仓库集群的名称。

    集群名称长度为4到64个字符,且不超过64个字节,1个中文字符为3个字节,其他字符为1个字节,不区分大小写,必须以字母或中文开头,可以包含中文、字母、数字、中划线或者下划线,不能包含其他的特殊字符。

    dws-demo

    集群版本

    显示集群中安装的数据库实例版本。样例值仅供参考,请以实际显示版本号为准。

    -

    默认数据库

    显示集群的默认数据库名称gaussdb

    说明:

    gaussdb为默认数据库名称,暂不支持修改。

    gaussdb

    管理员用户

    设置数据库管理员用户名称。

    用户命名要求如下:

    • 只能由小写字母、数字或下划线组成。
    • 必须以小写字母或下划线开头。
    • 长度为6~64个字符。
    • 用户名不能为DWS数据库的关键字。DWS数据库的关键字,具体请参见《数据仓库服务数据库开发指南》“SQL参考 > 关键字”章节。

    dbadmin

    管理员密码

    设置数据库管理员用户的密码。

    密码复杂度要求如下:
    • 密码长度为12-32个字符。
    • 不能与用户名或倒序的用户名相同。
    • 密码至少包含大写字母、小写字母、数字和特殊字符四类中的三类,其中可输入的特殊字符为:(~!?,.:;_(){}[]/<>@#%^&*+|\=-)。
    • 弱密码检查。
    说明:

    请妥善保管并定期更新密码,避免安全风险。

    -

    确认密码

    重复输入一次数据库管理员用户的密码。

    -

    数据库端口

    设置客户端或应用程序连接集群数据库时使用的端口。

    支持的端口范围为8000~30000。

    说明:

    已创建的集群不支持修改数据库端口,只能在创建时进行指定。

    8000

    集群时区

    支持设置租户集群时区,包含系统OS时区、集群数据仓库时区。

    -

  11. 配置集群所属的企业项目。已开通企业项目管理服务的用户才可以配置该参数。默认值为default。

    企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。

    用户可以选择默认的企业项目“default”或其他已有的企业项目。如果要创建新的企业项目,请登录企业管理控制台进行创建,详细操作请参考《企业管理用户指南》。

  12. 设置高级配置。选择“自定义”时,可以设置以下高级配置参数,若选择“默认配置”,以下参数将使用它们的默认值。

    • 备份设备
      设置当前集群使用的备份设备,各参数配置原则如表4所示。
      表4 自动快照参数说明

      参数名

      参数解释

      备份设备

      下拉框,支持OBS和NFS。

      备份NFS文件系统地址(NFS参数)

      NFS的共享地址IP。填写弹性文件服务共享路径IP地址,挂载成功后默认在集群实例的/var/chroot/nfsbackup目录下创建挂载目录。

    • CN部署量

      CN即协调节点(Coordinator),负责接收来自应用的访问请求,并向客户端返回执行结果。此外,协调节点还负责分解任务,并调度任务分片在各DN上并行执行。

      取值范围为3~集群节点数,最大值为20,默认值为3。在大规模集群下,建议部署多个CN。

    • 标签

      标签(Tag)用于标识集群的键值对。“键”和“值”请参见表5。默认未给集群添加标签。

      有关标签的更多信息,请参见标签简介

      表5 标签配置参数

      参数

      参数说明

      样例值

      有以下选择:

      • 在输入框的下拉列表中选择预定义标签键或集群已有的资源标签键。
        说明:

        如果添加预定义标签,用户需要预先在标签管理服务中创建好预定义标签,然后在“键”的下拉框中进行选择。用户可以通过单击“查看预定义标签”进入标签管理服务的“预定义标签”页面,然后单击“创建标签”来创建新的预定义标签。更多信息请参见《标签管理服务用户指南》中的“管理 > 预定义标签 > 创建预定义标签”章节。

      • 在输入框中输入标签键名称。输入标签键的最大长度为128个字符,不能为空字符串,且首尾字符不能为空格。
        不能包含“*”,“<”,“>”,“\”,“,”,“|”,“/”。
        说明:

        同一集群中的键名不能重复。

      key01

      用户可以选择:

      • 在输入框的下拉列表中选择预定义标签值或集群的资源标签值。
      • 在输入框中输入标签值。输入标签值的最大长度为255个字符,首尾字符不能为空格,可以为空字符串。

        不能包含“*”,“<”,“>”,“\”,“,”,“|”,“/”。

      value01

    • 加密数据库

      开启后,DWS将使用KMS(密钥管理服务)为集群及其快照的数据启用加密功能。

      每个区域的每个项目首次启用数据库加密时,系统会弹出一个“创建委托”的对话框,单击“是”创建名为“DWSAccessKMS”的委托以授权DWS访问KMS,若单击“否”将不会启用加密功能。然后在“密钥名称”的下拉列表中选择已创建的KMS密钥。

      • “加密数据库”开关只有拥有“Tenant Admin”权限的用户才能查看和开关。
      • 默认情况下,只有华为云账号用户或拥有Security Administrator权限的用户才具备查询委托和创建委托的权限。账号中的IAM用户,默认没有查询委托和创建委托的权限,此时需联系有权限的用户在当前页面完成对DWS的委托授权。
      • 数据库加密功能一旦开启就无法关闭。
      • 开启数据库加密功能后,用于加密DWS数据库的KMS密钥在使用过程中不能被禁用、删除或冻结,否则会导致DWS集群异常或数据库不可用。
      • 开启数据库加密功能后不支持使用openAPI恢复创建成功的快照。
      • 方式一:从密钥中选择密钥名称。

      • 方式二:输入密钥ID。输入在KMS侧给当前租户进行授权的KMS密钥ID。

        当跳转至KMS侧创建授权时被授权对象必须是账号,不能是用户。并且授权操作必须至少包含“查询密钥信息”、“加密数据”、“解密数据”3项权限。

  13. 设置该集群是否开启IPv6双栈功能。开关开启时,客户端或应用程序可通过IPv6的IP连接数据库。

    开启IPv6需同时满足以下3个条件:

    • 8配置网络时的子网是IPv6双栈子网。
    • 集群规格支持IPv6且支持最多网卡数大于等于3。
    • 仅8.2.1.210及以上集群版本支持。

  14. 单击“下一步:确认配置”,进入配置详情页面。
  15. 单击“立即创建”

    提交成功后开始创建。单击“返回集群列表”按钮返回集群管理页面,所创集群的初始状态为“创建中”,集群创建需要时间,请等待一段时间。创建成功后状态更新为“可用”,用户可以开始使用集群。

创建集群失败处理办法

如果集群创建失败,您可以进入DWS管理控制台的“专属集群 > 集群列表页面,查看集群的状态及创建失败的原因。

查看创建失败原因

  1. 登录DWS管理控制台,在左侧导航树,单击“专属集群 > 集群列表,进入“专属集群页面。
  2. 在集群列表中,找到“集群状态”显示为“创建失败”的集群。
  3. 单击“集群状态”列的可查看集群创建失败的原因。

    如果您的问题仍无法解决,请联系技术支持人员。

删除创建失败的集群

当不再需要创建失败的集群时,可以将其删除。建议您先查看集群创建失败的原因后,再删除集群。

  1. 登录DWS管理控制台,在左侧导航树,单击“专属集群 > 集群列表,进入“专属集群页面。
  2. 在集群列表中,找到需要删除的创建失败的集群,然后在该集群所在行选择“更多 > 删除”
  3. 在弹出框中,再次进行删除确认,可以选择是否执行以下操作:

    • 立即创建集群快照

      如果集群状态无异常,可以单击“立即创建集群快照”,跳转至快照列表页面,单击“创建快照”,为待删除的集群创建一个最新的快照,详情请参见手动快照。等快照创建完成后,请再返回“专属集群”页面执行删除集群的操作。

    • 关联资源名称
      • 释放与集群绑定的弹性IP

        如果集群绑定了弹性IP,建议勾选“弹性IP”,将待删除集群的弹性IP资源释放。

      • 自动快照
      • 手动快照

        如果用户创建了手动快照,可勾选“手动快照”进行删除。

  4. 确认无误后,输入“DELETE”或单击“一键输入”,并单击“确定”,删除此集群。此时集群列表中集群状态会显示为“删除中”,并显示集群删除进度。

    如果待删除集群使用了自动创建的安全组,且该自动创建的安全组没有被别的集群使用,删除集群时,该安全组也会被一并删除。