功能总览

数据仓库服务（Data Warehouse Service，简称DWS）是一种基于公有云基础架构和平台的在线数据处理数据库，提供即开即用、可扩展且完全托管的分析型数据库服务。DWS是基于华为融合数据仓库GaussDB产品的云原生服务，兼容标准ANSI SQL 99和SQL 2003，同时兼容PostgreSQL/Oracle数据库生态，为各行业PB级海量大数据分析提供有竞争力的解决方案。

典型场景：数据仓库是企业的重要数据分析系统，随着业务量的增长，自建数仓性能逐渐不能满足实际要求，同时扩展性差、成本高，也使扩容极为困难。DWS作为云上企业级数据仓库，具备高性能、低成本、易扩展等特性，满足大数据时代企业数据仓库业务诉求。

数据仓库服务包括提供“按需付费”、“包年/包月”和“折扣套餐”购买模式。

 • 按需付费（小时）：即开即用，适合前期运行和概念验证、短期使用的客户。

 • 包年/包月：客户可通过预付费，以包年包月模式购买云服务，这种购买方式相对于按需付费提供更大的折扣，对于长期使用者，推荐该计费模式。

 • 折扣套餐：按月或按年预先支付OBS热数据存储费用，相比按需计费提供大额折扣，适合计划长期使用DWS 3.0场景的客户。

GaussDB(DWS)支持一系列的生态工具，贯穿在整个数据仓库的使用生命周期中，包括SQL工具、导入导出、语法迁移工具等。

购买好集群后，就可以使用SQL工具或者JDBC/ODBC等第三方驱动程序连接集群，访问集群数据库。

连接集群步骤如下：

1、获取集群地址。

2、（可选）使用SSL加密。

3、选任意一种方式连接集群：

   • 使用SQL客户端工具连接：支持gsql、Data Studio。

   • 使用JDBC/ODBC连接。

   • 使用SQL编辑器连接。

   • 使用Python第三方库psycopg2、PyGreSQL连接。

集群创建成功后，用户可以根据实际需要修改集群的数据库参数。在GaussDB(DWS) 管理控制台，您可以查看或设置一些常用的数据库参数。

快照是DWS集群在某一时间点的完整备份，记录了这一时刻指定集群的所有配置数据和业务数据，用于还原创建快照时的集群数据。快照存储在OBS中。

当用户需要的计算或者存储资源冗余超出业务需求时，可在管理控制台对已有集群进行缩容操作，以便充分利用GaussDB(DWS) 提供的计算资源和存储资源。

GaussDB(DWS)提供了灵活的数据入库方式，可以将多种数据源的数据导入到GaussDB(DWS)中。

 • OBS导入：支持将存储在OBS上的TXT、CSV、ORC及CARBONDATA格式的数据并行导入到GaussDB(DWS)，支持导入后查询数据，也支持远程读OBS上的数据。GaussDB(DWS)优先推荐的导入方式。

 • GDS导入：使用GaussDB(DWS)提供的GDS工具，利用多DN并行的方式，将数据从远端服务器导入到GaussDB(DWS)。这种方式导入效率高，适用于大批量数据入库。

 • MRS导入：配置一个GaussDB(DWS)集群连接到一个MRS集群，然后将数据从MRS的HDFS中读取到GaussDB(DWS)。

 • DRS导入：通过DRS实时同步功能，将数据从一个数据源拷贝到GaussDB(DWS)数据仓库，实现关键业务的数据实时流动。主要聚焦于表和数据的同步导入。

 • CDM导入：CDM提供同构/异构数据源之间批量数据迁移的功能，帮助您实现从多种类型的数据源迁移数据到GaussDB(DWS)。CDM在迁移数据到GaussDB(DWS)时，采用的是Copy方式和GDS并行导入方式。

 • gs_restore导入：在数据库迁移场景下，支持使用gs_restore工具将事先使用gs_dump工具导出的文件格式，重新导入GaussDB(DWS)集群，实现表定义、数据库对象定义等元数据的导入。导入数据主要包括以下内容：

• 所有数据库对象定义。

• 单个数据库对象定义。

• 单个schema定义。

• 单张表定义。

 • 其他方式：包括INSERT语句、COPY FROM STDIN、gsql元命令导入及第三方ETL工具导入。

DWS支持三种方式导出数据：

 • 使用OBS外表导出：通过OBS外表设置的导出模式、导出数据格式等信息来指定导出的数据文件，DWS推荐此方法。

 • 使用GDS导出：使用GDS工具将数据从数据库导出到普通文件系统中，适用于高并发、大量数据导出的场景。

 • 使用gs_dump和gs_dumpall命令导出：支持导出单个数据库及其对象，也支持导出集群中所有数据库和公共全局对象。

当集群进入只读状态，无法进行数据库相关操作，用户可以在管理控制台对集群进行解除只读。

数据开发者在进行数据库开发之前，通过开发设计建议，约定数据库建模和数据库应用程序开发过程中应当遵守的设计规范。依据这些规范进行建模，能够更好的契合GaussDB(DWS)的分布式处理架构，输出更高效的业务SQL代码。

DWS支持标准的SQL语法，支持DDL/DML/DCL语法：

 • DDL（Data Definition Language数据定义语言），用于定义或修改数据库中的对象。如：表、索引、视图等。

 • DML（Data Manipulation Language数据操作语言），用于对数据库表中的数据进行操作。如：插入、更新、查询、删除。

 • DCL（Data Control Language数据控制语言），是用来设置或更改数据库用户或角色权限的语句。

UDF全称为User Defined Function，即用户自定义函数。DWS提供丰富的内建函数来满足您的计算需求，同时您还可以使用Java语言创建自定义函数来满足不同的计算需求。

使用GaussDB(DWS)数据库的PL/Java函数，用户可以使用自己喜欢的Java IDE编写Java方法，并将包含这些方法的jar文件安装到GaussDB(DWS)数据库中，然后使用该方法。GaussDB(DWS) PL/Java基于开源Greenplum PL/Java 1.4.0开发，PL/Java所使用的JDK版本为1.8.0_201。

GaussDB(DWS)支持TopSQL查询，包括实时TopSQL和历史TopSQL查询。资源监控实时视图记录了作业运行时的资源使用情况(包括内存、下盘、CPU时间、IO等)以及性能告警信息。您可以根据这些信息评估查询是否存在性能瓶颈或对集群的整体性能造成影响。

 • 实时TopSQL查询：数据库用户执行查询作业时，对处于Active状态的SQL查询，系统提供了Query级别和算子级别的资源监控实时视图用来查询执行代价大于resource_track_cost的实时TopSQL。

 • 历史TopSQL查询：当作业运行结束时，能够对历史的作业进行信息追溯，展现过去态作业的资源使用情况(包括内存、下盘、CPU时间、IO等)和运行状态信息(包括报错、终止、异常等)以及性能告警信息。系统提供了query级别和算子级别的资源监控历史视图用于查询执行代价大于resource_track_cost的历史TopSQL。

SQL调优的唯一目的是“资源利用最大化”，即CPU、内存、磁盘IO、网络IO四种资源利用最大化。所有调优手段都是围绕资源使用开展的。

所谓资源利用最大化是指SQL语句尽量高效，节省资源开销，以最小的代价实现最大的效益。比如做典型点查询的时候，可以用seqscan+filter(即读取每一条元组和点查询条件进行匹配)实现，也可以通过indexscan实现，显然indexscan可以以更小的代价实现相同的效果。

当您有多个数据库用户同时查询作业时，一些复杂查询可能会长时间占用集群资源，从而影响其他查询的性能。例如一组数据库用户不断提交复杂、耗时的查询，而另一组用户经常提交短查询。在这种情况下，短时查询可能不得不在队列中等待耗时查询完成。

为了提高效率，您可以使用DWS资源管理功能处理这类问题，例如，将经常提交复杂查询作业的数据库用户分为一类，为这类用户创建一个资源池并给这个资源池分配多一些的资源，之后将这类用户添加至这个资源池中，那么这类用户所提交的复杂作业只能使用所创建资源池拥有的资源；同时再创建一个占用资源较少的资源池分配给执行短查询的用户使用，这样两种作业就能够同时执行互不影响。

 

在实际业务中，您可能需要给不同角色的用户授予不同的资源操作权限。IAM服务为用户提供了细粒度访问控制功能。在IAM中，管理员用户（即属于admin用户组的用户）通过创建自定义策略，可以自由搭配需要授予的权限集。通过给用户组授予策略，用户组中的用户就能获得策略中定义的权限。IAM通过策略定义的权限内容实现精细的权限管理。

通过数据库权限划分，可以有效防止数据库中的对象被任意地增、删、改，DWS支持三权分立，避免多人操作一组数据库对象，从而确保数据库的安全和数据有效。

您也可以通过角色、Schema以及私有用户的管理，将权限进一步细分。

行级访问控制特性是将数据库访问控制精确到数据表行级别，使数据库达到行级访问控制的能力。不同用户执行相同的SQL查询操作，读取到的结果是不同的。即同一张表，不同用户只能查看自身相关的数据信息，不能查看其他用户的数据信息。

 

大数据时代中数据蕴藏的巨大价值同时也带来了隐私信息保护方面的难题，数据脱敏用于实现大数据高效共享的同时对敏感信息的安全保护。

客户可结合自身业务场景识别敏感数据并以表的列为单元创建脱敏策略。制定脱敏策略后，只有管理员和表对象的owner才能访问原始数据。

适用场景：涉及敏感信息的行业都对数据脱敏有着天然的需求，例如金融、政府、医疗等。其在应用开发、测试、培训等活动中都需要使用数据，因此都可以使用脱敏功能来避免敏感信息的泄露风险。

GaussDB(DWS)提供PostGIS Extension（版本为PostGIS-2.4.2）。PostGIS Extension是PostgreSQL的空间数据库扩展，提供如下空间信息服务功能：空间对象、空间索引、空间操作函数和空间操作符。PostGIS Extension完全遵循OpenGIS规范。

GaussDB(DWS)中PostGIS Extension依赖第三方开源软件如下。

 • Geos 3.6.2

 • Proj 4.9.2

 • Json 0.12.1

 • Libxml2 2.7.1

 • Gdal 1.11.0

GaussDB(DWS)兼容PostgreSQL生态，但使用语法与PostgreSQL存在一定差异。

逻辑集群是基于Node Group机制来划分物理节点的一种集群模式，从节点层次将大集群进行划分，和数据库形成交叉。一个数据库中的表可以按逻辑集群来分配到不同的物理节点，而一个逻辑集群也可以包含多个数据库的表。

当用户集群创建后，实际需要的CN数量会随着业务需求而发生变化，因此管理CN节点功能的实现使用户可以根据实际需求动态调整集群CN数量。

数据库监控（DMS）通过综合收集到的多种类型数据，对数据库主机、实例、业务SQL进行诊断，及时暴露数据库中关键故障及性能问题，指导客户进行优化解决。

DMS通过可视化的手段将重点数据以图形化的形式展示，从而显著的降低了数据库运维的门槛，提高了数据库运维的效率。并且将一切繁重的IT运维工作都集中在云后台管理，从专业，复杂，繁重的数据中心运维活动中解放出来，使客户能够更加专注于其核心业务。在IT运维与数据库运维上深耕细作，发挥其团队稳定，专业化程度高，掌握海量数据库运行数据的优势。同时充分利用目前机器学习、人工智能领域的科研成果，使用技术手段逐步提高每名运维人员所能管理的数据库数量，优化云端运维体验，从而实现“减员增效”。

告警管理包含查看告警规则、告警规则配置与告警信息订阅功能。其中，告警规则可以提供过去一周的告警信息统计与告警信息明细，方便用户自行查看租户下的告警。该特性除了以默认值的形式提供一套GaussDB(DWS)告警最佳实践外，还允许用户根据自己的业务特点，个性化修改告警阈值。告警管理通过消息通知服务（Simple Message Notification，简称SMN）发送GaussDB(DWS) 告警通知，用户可订阅告警启用通知。

用户使用客户端连接DWS集群时，如果用户仅连接一个CN节点地址，通过该CN节点内网IP或弹性公网IP连接时，只能连接到固定的CN节点上，存在CN单点问题。如果通过内网域名连接时，利用域名解析的轮询特点，可以解决此问题。但内网域名仅限内网使用，使用公网域名访问时，还是存在CN单点问题，同时当前也不能在CN故障时进行请求转发，因此引入了弹性负载均衡服务（Elastic Load Balance，简称ELB），解决集群访问的单点问题。

节点管理包含查看当前集群的节点列表、添加或删除用于扩容的新节点等功能，在节点管理页面可以清晰的看到各节点的状态、节点规格、是否已使用等信息。

集群重分布是集群扩容后的一项重要且耗时的任务，集群扩容前，业务数据都集中分布在老节点上，扩容之后新增空的可用节点，此时将老节点的数据均匀分布到新扩节点的过程称为数据“重分布”，数据“重分布”后将大大提升业务响应速率。

当集群状态为“非均衡”时会出现某些节点主实例增多，从而负载压力较大。这种情况下集群状态是正常的，但整体性能要不如均衡状态。建议在业务低峰期，进行集群主备恢复。

集群日志服务用于采集集群日志并报送云日志服务（Log Tank Service，简称LTS），用户可以在LTS云日志服务查看采集的集群日志或进行日志转储。

智能运维是GaussDB(DWS)常驻运维工具，可帮助用户智能执行运维任务。智能运维会通过集群负载情况，选择合理时间窗、并发度完成用户指定的任务，在运维任务执行过程中，智能运维将时刻关注用户业务的变化，及时调整运维任务执行策略，以减轻对用户业务的影响。智能运维支持周期型和单次型任务的创建，执行时间窗可按照不同用户业务负载定制化。

支持位图roaring bitmap数据类型及对应常见函数，在互联网、零售、教育、游戏等行业，提取用户特征、用户画像等场景有广泛应用。例如：

1、在电商行业中，商家在进行营销活动前，需要根据活动的目的，圈选一批满足特定特征的目标用户群体进行广告推送。

2、在教育行业中，需要根据学生不同的特征，推送有针对性的练习题目，帮助学生查漏补缺。

3、在搜索、视频、门户网站中，根据用户关注的热点，推送不同的内容。

在现有范围分区（Range Partitioning）基础上，新增支持list分区方式：PARTITION BY LIST (partition_key,[...])，满足用户使用习惯。

列表分区策略分区键支持的数据类型为：TINYINT、SMALLINT、INTEGER、BIGINT、NUMERIC/DECIMAL、TEXT、NVARCHAR2、VARCHAR(n)、CHAR、BPCHAR、TIME、TIME WITH TIMEZONE、TIMESTAMP、TIMESTAMP WITH TIME ZONE、DATE、INTERVAL、SMALLDATETIME。

HDFS/OBS外表READ ONLY外表支持JSON文件格式。

支持系统表赋权给普通用户，vacuum能够单独赋权，以及支持可扩展的预定义权限角色功能。

1. 1、新增表级权限Alter/Drop/Vacuum。

2. 2、新增Schema级权限Alter/Drop。

3. 3、新增预置角色role_signal_backend、role_read_all_stats。

随着用户对数据仓库容量和性能需求的变化，若当前环境不支持规格变更，却需要对当前集群规格进行调整，或者需要变更集群拓扑结构，您可以选择在控制台进行调整集群大小操作，以便充分利用GaussDB(DWS)提供的计算资源和存储资源。调整大小时会先创建一个目标规格的新集群，将现集群数据迁移到新集群上，最后将使用入口从老集群切换到新集群即完成调整大小操作，调整大小完成后会对老集群做全量快照，并且会保留老集群一段时间，用于特殊情况下的数据恢复。

集群详情页面增加“运维账户”功能，通过授权账户控制运维人员访问集群的操作权限与影响范围。开启运维账户后，将在集群中创建运维账户，账户名为om_user_集群ID前8位。并赋予账户gs_role_analyze_any，gs_role_vacuum_any，gs_role_read_all_stats，gs_role_signal_backend角色权限。

GaussDB(DWS)提供通过控制台管理数据库用户的功能，可以在控制台创建、删除、更新数据库用户并对其进行权限管理。该特性可使用户无需登录数据库，在console界面就可以进行数据库用户的管理，以及对用户的权限管理。

数据迁移围绕GaussDB(DWS)，提供了简单易用的迁移能力及多种数据源到DWS的集成能力，降低用户数据源迁移和集成的复杂性，是一种高效易用的数据集成服务。目前数据源支持从Kafka、MRS源端迁移至GaussDB(DWS)目的端。