产品功能
GaussDB(DWS) 为用户提供GaussDB(DWS) 管理控制台、GaussDB(DWS) 客户端、REST API等多样化的使用方式。本章节为您介绍GaussDB(DWS) 的主要功能。
集群管理
一个GaussDB(DWS) 集群由多个在相同子网中的相同规格的节点组成,共同提供服务。GaussDB(DWS) 为用户提供了简单易用的Web管理控制台,让用户可以快速申请集群,轻松执行数据仓库管理任务,专注于数据和业务。
集群管理的主要功能如下:
- 创建集群
如果用户需要在云上环境中使用数据仓库服务,首先应创建一个GaussDB(DWS)集群。用户可根据业务需求选择相应的产品规格和节点规格快速创建集群。
- 管理快照
快照是GaussDB(DWS) 集群在某一时间点的完整备份,记录了这一时刻指定集群的所有配置数据和业务数据,快照可用于还原某一时刻的集群。用户可以为集群手动创建快照,也可以开启定时创建自动快照。自动快照有保留天数限制,用户可以对自动快照进行复制,生成手工快照以便长期保留。
当您从快照恢复集群时,系统将为您创建一个与原始集群规格相同、节点数也相同的新集群,并导入快照数据。
对于不再需要的快照,可以选择删除快照,以释放存储空间。
- 管理节点
用户可查看所创集群的节点列表,在节点管理页面可以清晰的查询各节点的状态、节点规格、是否已使用等信息。若用户需要进行大规模扩容操作时,可通过节点管理功能提前分批次添加准备好用于扩容的节点。例如需要新扩容180个BMS节点,可分3批各添加60个,如果其中有一部分添加失败,可再次添加失败数量的节点,等180个节点添加成功后,再使用这些添加好的节点进行扩容;添加节点过程中不影响集群业务。
- 扩容集群
随着业务的增长,现有集群规模可能无法满足业务需要,此时,用户可以扩容集群,为集群增加计算节点。扩容时业务不中断。进行扩容操作时,用户可根据需求选择是否在线扩容和自动重分布。
- 管理重分布
默认情况下,在扩容之后将自动调起重分布任务,为了增强扩容重分布整个流程的可靠性,可以选择在扩容时关闭自动重分布功能,在扩容成功之后再手动使用重分布功能执行重分布任务,数据重分布后将大大提升业务响应速率。当前重分布支持离线重分布、在线重分布两种模式,默认情况下,提交重分布任务时将选择离线重分布模式。
- 工作负载管理
当您有多个数据库用户同时查询作业时,一些复杂查询可能会长时间占用集群资源,从而影响其他查询的性能。例如一组数据库用户不断提交复杂、耗时的查询,而另一组用户经常提交短查询。在这种情况下,短时查询可能不得不在队列中等待耗时查询完成。为了提高效率,GaussDB(DWS)提供了工作负载管理功能,GaussDB(DWS)工作负载管理以工作负载队列为资源承载,对于不同的业务类型可以创建不同的工作负载队列,为这些队列配置不同的资源占比,然后将数据库用户添加至对应的队列中,以此来限制这些数据库用户的资源使用。
- 逻辑集群
逻辑集群是基于Node Group机制来划分物理节点的一种集群模式,从节点层次将大集群进行划分,和数据库形成交叉。一个数据库中的表可以按逻辑集群来分配到不同的物理节点,而一个逻辑集群也可以包含多个数据库的表。
- 重启集群
- 删除集群
GaussDB(DWS) 为用户提供了以下两种方式管理集群和快照:
- 管理控制台方式
使用管理控制台方式访问GaussDB(DWS) 集群。用户在注册后,可直接登录管理控制台,选择“数据仓库服务”。
有关集群管理的更多内容,请参见管理集群。
- REST API方式
支持使用GaussDB(DWS) 提供的REST API接口以编程的方式管理集群。如果用户需要将GaussDB(DWS) 集成到第三方系统,用于二次开发,请使用API方式访问。
详细内容,请参见《数据仓库服务API参考》。
企业级数据仓库和标准SQL的支持
当创建好GaussDB(DWS) 集群后,用户就可以使用SQL客户端工具连接集群,然后执行创建数据库、管理数据库、导入/导出数据以及查询数据的操作。
GaussDB(DWS) 为用户提供了PB(petabyte)级高性能数据库,主要体现在:
- MPP大规模并行处理框架,支持行列混存、向量化执行,实现万亿数据关联分析秒级响应。
- 内存计算,基于Bloom Filter的Hash Join优化,性能提升2~10倍。
- 基于电信技术优化的大规模集群通信,提升计算节点间的传输效率。
- 基于代价的智能优化器,根据集群规模、数据量、生成最优计划,提高执行效率。
GaussDB(DWS) 具有完备的SQL能力:
- 支持SQL 92、SQL 2003标准,支持存储过程,支持GBK和UTF-8字符集,支持SQL标准函数与OLAP分析函数。
- 兼容PostgreSQL生态,与主流第三方数据库ETL,BI(business intelligence)工具厂商对接认证。
详细的SQL语法和数据库操作指导,请参见《数据仓库服务数据库开发指南》。
多样化的数据导入方式
GaussDB(DWS) 支持多数据源高效入库,典型的入库方式如下所示。详细指导请参见《数据仓库服务数据库开发指南》中的“导入数据”章节。
- 从OBS(对象存储服务)并行导入数据
- 使用GDS(General Data Service)从远端服务器导入数据
- 通过INSERT语句直接写入数据
- 使用COPY FROM STDIN导入数据
- 使用gsql元命令导入数据
- 从MRS(MapReduce服务)导入数据到集群
- 使用DSC工具迁移SQL脚本
此外,GaussDB(DWS) 还支持主流第三方ETL工具进行数据导入。
应用程序接口
支持调用JDBC(Java database connectivity)、ODBC(Open Database Connectivity)等标准接口开发应用程序访问GaussDB(DWS) 集群中的数据库。
详细内容请参见《数据仓库服务用户指南》中“使用JDBC和ODBC连接集群”章节。
高可靠性
- 通过实例冗余、数据冗余,实现整个系统无单点故障。
- 数据多副本,且所有数据可手工备份至OBS。
- 自动隔离有故障的节点,利用副本重新恢复数据,并在必要时替换节点。
- 自动快照结合OBS存储,实现跨AZ容灾,若用户生产集群所处的地理位置发生自然灾害,或者集群内部出现了故障从而导致生产集群无法正常对外提供读写服务,那么灾备集群可以切换为生产集群,从而保障业务连续性。
- 当集群状态为“非均衡”时会出现某些节点主实例增多,从而负载压力较大,用户可在业务低峰期进行集群主备恢复操作。
- 用户使用客户端连接DWS集群时,如果用户仅连接一个CN节点地址,通过该CN节点内网IP或弹性公网IP连接时,只能连接到固定的CN节点上,存在CN单点问题。因此GaussDB(DWS)引入了弹性负载均衡服务,解决集群访问的单点问题。弹性负载均衡(ELB)是将访问流量根据转发策略分发到后端多台弹性云服务器的流量分发控制服务,可以通过流量分发扩展应用系统对外的服务能力,提高应用程序的容错能力。
- 当用户集群创建后,实际需要的CN数量会随着业务需求而发生变化,因此GaussDB(DWS)提供了增删CN节点功能,实现用户可以根据实际需求动态调整集群CN数量的要求。
安全管理
- 基于网络隔离、安全组规则以及一系列安全加固项,实现租户隔离和访问权限控制,保护系统和用户的隐私及数据安全。
- 支持SSL安全网络连接、用户权限管理、密码管理等功能,保证数据库在网络层、管理层、应用层和系统层的安全性。
监控与审计
- 监控集群
GaussDB(DWS) 与云监控服务集成,使您能够对集群中的计算节点和数据库进行实时监控。详情请参见《数据仓库服务用户指南》中“监控集群”章节。
- 数据库监控
数据库监控(DMS)是一个为GaussDB(DWS)数据库提供多维度监控服务的系统,为客户数据库的快速、稳定运行提供保驾护航的能力。该功能对业务数据库所使用磁盘、网络、OS指标数据,集群运行关键性能指标数据进行收集、监控、分析。通过综合收集到的多种类型指标,对数据库主机、实例、业务SQL进行诊断,及时暴露数据库中关键故障及性能问题,指导客户进行优化解决。详情请参见《数据仓库服务用户指南》中“数据库监控”章节。
- 告警管理
告警管理包含查看告警规则、告警规则配置与告警信息订阅功能。其中,告警规则可以提供过去一周的告警信息统计与告警信息明细,方便用户自行查看租户下的告警。该特性除了以默认值的形式提供一套GaussDB(DWS)告警最佳实践外,还允许用户根据自己的业务特点,个性化修改告警阈值。详情请参见《数据仓库服务用户指南》中“告警管理”章节。
- 事件通知
GaussDB(DWS) 与消息通知服务对接,使您能够订阅事件并查看触发的各类事件。详情请参见《数据仓库服务用户指南》中“事件通知”章节。
- 审计日志
- GaussDB(DWS) 与云审计服务集成,使您能够对所有的管理控制台操作及API调用进行审计。详情请参见“查看管理控制台关键操作审计日志”章节。
- GaussDB(DWS) 数据库还会记录所有的SQL操作,包括连接尝试、查询和数据库的变动。详情请参见《数据仓库服务用户指南》中“设置数据库审计日志”章节。
支持多种数据库工具
GaussDB(DWS) 提供了以下几款自研工具,用户可以在GaussDB(DWS) 管理控制台下载相关的工具包。有关工具的详细指导请参见《数据仓库服务工具指南》。
- gsql工具
它是一款运行在Linux操作系统的命令行SQL客户端工具,用于连接GaussDB(DWS) 集群中的数据库,并对数据库进行操作和维护。
- Data Studio工具
它是一款运行在Windows操作系统上的图形界面SQL客户端工具,用于连接GaussDB(DWS) 集群中的数据库、管理数据库和数据库对象,编辑、运行、调试SQL脚本,查看执行计划等。
- GDS工具
它是GaussDB(DWS) 提供的数据服务工具,通过和外表机制的配合,实现数据的高速导入导出。
GDS工具包需要安装在数据源文件所在的服务器上,数据源文件所在的服务器称为数据服务器,也称为GDS服务器。
- DSC SQL语法迁移工具
DSC(Database Schema Convertor)是一款运行在Linux或Windows操作系统上的命令行工具,致力于向客户提供简单、快速、可靠的应用程序SQL脚本迁移服务,通过内置的语法迁移逻辑解析源数据库应用程序SQL脚本,并迁移为适用于GaussDB(DWS) 数据库的应用程序SQL脚本。
DSC支持迁移Teradata、Oracle、Netezza、MySQL和DB2数据库的SQL脚本。