文档首页 > > 开发指南> 系统概述> 产品架构

产品架构

分享
更新时间: 2019/06/24 GMT+08:00

DWS是基于Share-nothing架构的分布式、并行数据库集群,其产品架构请参见图1

图1 DWS产品架构图
  • 应用层

    数据加载工具、ETL(Extract-Transform-Load)工具、以及商业上的BI工具、数据挖掘和分析工具,均可以通过标准接口与DWS集成。DWS兼容PostgreSQL生态,且SQL语法进行了兼容Oracle和Teradata的处理。应用只需做少量改动即可向DWS平滑迁移。

  • 接口

    支持应用程序通过标准JDBC 4.0和ODBC 3.5连接DWS

  • DWS(MPP大规模并行处理集群)

    由实施数据管理的模块组成,有关集群的组成及各模块的功能请参见图2表1

  • 自动数据备份

    支持将集群快照自动备份到EB级对象存储服务OBS(Object Storage Service)中,方便利用业务空闲期对集群做周期备份以保证集群异常后的数据恢复。

    快照是DWS集群在某一时间点的完整备份,记录了这一时刻指定集群的所有配置数据和业务数据。

  • 工具链

    提供了数据并行加载工具GDS(General Data Service)、语法迁移工具Migration Tool、SQL开发工具Data Studio,并支持通过控制台对集群进行运维监控。

DWS集群逻辑架构如图2所示。实例的详细介绍请参见表1

图2 集群逻辑架构图
表1 集群架构说明

名称

描述

GTM

全局事务管理器(Global Transaction Manager),负责生成和维护全局事务ID、事务快照、时间戳等全局唯一的信息。

WLM

工作负载管理器(Workload Manager)。控制系统资源的分配,防止过量业务负载对系统的冲击而导致业务拥塞和系统崩溃。

CN

协调节点(Coordinator Node)。负责接收来自应用的访问请求,并向客户端返回执行结果;负责分解任务,并调度任务分片在各DN上并行执行。

DN

数据节点(Datanode)。负责存储业务数据(支持行存、列存、混合存储)、执行数据查询任务以及向CN返回执行结果。

Storage

服务器的本地存储资源,持久化存储数据。

集群的每个DN上负责存储数据,其存储介质也是磁盘。图3从逻辑上介绍了每个DN上都有哪些对象,以及这些对象之间的关系,其中:

  • Database,即数据库,用于管理各类数据对象,各数据库间相互隔离。
  • Datafile Segment,即数据文件,通常每张表只对应一个数据文件。如果某张表的数据大于1GB,则会分为多个数据文件存储。
  • Table,即表,每张表只能属于一个数据库。
  • Block,即数据块,是数据库管理的基本单位,默认大小为8KB。

数据有三种分布方式,可以在建表的时候指定:REPLICATION、ROUNDROBIN 、HASH。ROUNDRONIN只适用于外表

图3 数据库逻辑结构图
分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

跳转到云社区