文档首页 > > 产品介绍> 产品功能

产品功能

分享
更新时间:2020/08/04 GMT+08:00

DWS为用户提供DWS管理控制台、DWS客户端、REST API等多样化的使用方式。本章节为您介绍DWS的主要功能。

集群管理

一个DWS集群由多个在相同子网中的相同规格的节点组成,共同提供服务。DWS为用户提供了简单易用的Web管理控制台,让用户可以快速申请集群,轻松执行数据仓库管理任务,专注于数据和业务。

集群管理的主要功能如下:

  • 创建集群

    用户可以根据业务需要选择节点规格和节点数量快速创建集群。您也可以先购买包年包月套餐,然后再创建集群。

  • 管理快照

    快照是DWS集群在某一时间点的完整备份,记录了这一时刻指定集群的所有配置数据和业务数据,快照可用于还原某一时刻的集群。用户可以为集群手动创建快照,也可以开启定时创建自动快照。自动快照有保留天数限制,用户可以对自动快照进行复制,生成手工快照以便长期保留。

    当您从快照恢复集群时,系统将为您创建一个与原始集群规格相同、节点数也相同的新集群,并导入快照数据。

    对于不再需要的快照,可以选择删除快照,以释放存储空间。

  • 扩容集群

    随着业务的增长,现有集群规模可能无法满足业务需要,此时,用户可以扩容集群,为集群增加计算节点。扩容时业务不中断。

  • 重启集群

    重启集群将有可能会导致正在运行中的业务数据丢失,如果需要执行重启操作,请确定不存在正在运行的业务,所有数据都已经保存。

  • 删除集群

    当用户不再需要集群时,可选择删除集群。此操作为高危操作,删除集群可能导致数据丢失,请谨慎操作。

DWS为用户提供了以下方式管理集群和快照:

  • 管理控制台方式

    使用管理控制台方式访问DWS集群。用户在注册后,可直接登录管理控制台,选择“数据仓库服务”

    有关集群管理的更多内容,请参见管理集群

  • REST API方式

    支持使用DWS提供的REST API接口以编程的方式管理集群。如果用户需要将DWS集成到第三方系统,用于二次开发,请使用API方式访问。

    详细内容,请参见《数据仓库服务API参考》

企业级数据仓库和标准SQL的支持

当创建好DWS集群后,用户就可以使用SQL客户端工具连接集群,然后执行创建数据库、管理数据库、导入/导出数据以及查询数据的操作。

DWS为用户提供了PB(petabyte)级高性能数据库,主要体现在:

  • MPP大规模并行处理框架,支持行列混存、向量化执行,实现万亿数据关联分析秒级响应。
  • 内存计算,基于Bloom Filter的Hash Join优化,性能提升2~10倍。
  • 基于电信技术优化的大规模集群通信,提升计算节点间的传输效率。
  • 基于代价的智能优化器,根据集群规模、数据量、生成最优计划,提高执行效率。

DWS具有完备的SQL能力:

  • 支持SQL 92、SQL 2003标准,支持存储过程,支持GBK和UTF-8字符集,支持SQL标准函数与OLAP分析函数。
  • 兼容PostgreSQL生态,与主流第三方数据库ETL,BI(business intelligence)工具厂商对接认证。

详细的SQL语法和数据库操作指导,请参见《数据仓库服务数据库开发指南》

多样化的数据导入方式

DWS支持多数据源高效入库,典型的入库方式如下所示。详细指导请参见《数据仓库服务数据库开发指南》中的导入方式章节。

  • 从OBS(对象存储服务)并行导入数据
  • 使用GDS(General Data Service)从远端服务器导入数据
  • 通过INSERT语句直接写入数据
  • 使用COPY FROM STDIN导入数据
  • 使用gsql元命令导入数据
  • 从MRS(MapReduce服务)导入数据到集群
  • 从DIS(数据接入服务)导入流式数据到DWS
  • 使用CDM(云数据迁移服务)迁移数据到DWS
  • 使用DSC工具迁移SQL脚本

此外,DWS还支持主流第三方ETL工具进行数据导入。

应用程序接口

支持调用JDBC(Java database connectivity)、ODBC(Open Database Connectivity)等标准接口开发应用程序访问DWS集群中的数据库。

详细内容请参见使用JDBC连接数集群使用ODBC连接数集群

高可靠性

  • 通过实例冗余、数据冗余,实现整个系统无单点故障。
  • 数据多副本,且所有数据可手工备份至OBS。
  • 自动隔离有故障的节点,利用副本重新恢复数据,并在必要时替换节点。
  • 自动快照结合OBS存储,实现跨AZ容灾。

安全管理

  • 基于网络隔离、安全组规则以及一系列安全加固项,实现租户隔离和访问权限控制,保护系统和用户的隐私及数据安全。
  • 支持SSL安全网络连接、用户权限管理、密码管理等功能,保证数据库在网络层、管理层、应用层和系统层的安全性。

    详细内容请参见设置SSL连接设置三权分立

监控与审计

  • 监控集群

    DWS与云监控服务集成,使您能够对集群中的计算节点和数据库进行实时监控。详情请参见监控集群

  • 事件通知

    DWS与消息通知服务对接,使您能够订阅事件并查看触发的各类事件。详情请参见事件通知

  • 审计日志

支持多种数据库工具

DWS提供了以下几款自研工具,用户可以在DWS管理控制台下载相关的工具包。有关工具的详细指导请参见《数据仓库服务工具指南》

  • gsql工具

    它是一款运行在Linux操作系统的命令行SQL客户端工具,用于连接DWS集群中的数据库,并对数据库进行操作和维护。

  • Data Studio工具

    它是一款运行在Windows操作系统上的图形界面SQL客户端工具,用于连接DWS集群中的数据库、管理数据库和数据库对象,编辑、运行、调试SQL脚本,查看执行计划等。

  • GDS工具

    它是DWS提供的数据服务工具,通过和外表机制的配合,实现数据的高速导入导出。

    GDS工具包需要安装在数据源文件所在的服务器上,数据源文件所在的服务器称为数据服务器,也称为GDS服务器。

  • DSC SQL语法迁移工具

    DSC(Database Schema Convertor)是一款运行在Linux或Windows操作系统上的命令行工具,致力于向客户提供简单、快速、可靠的应用程序SQL脚本迁移服务,通过内置的语法迁移逻辑解析源数据库应用程序SQL脚本,并迁移为适用于DWS数据库的应用程序SQL脚本。

    DSC支持迁移Teradata、Oracle、Netezza、MySQL和DB2数据库的SQL脚本。

分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!非常感谢您的反馈,我们会继续努力做到更好!
反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问