更新时间:2024-10-18 GMT+08:00

数据架构概述

模型设计方法概述

根据业务需求抽取信息的主要特征,模拟和抽象出一个能够反映业务信息(对象)之间关联关系的模型,即数据模型。数据模型也是可视化的展现企业内部信息如何组织的蓝图。数据模型应满足三方面要求:能比较真实地模拟业务(场景);容易被人所理解;便于在IT系统中实现。

DataArts Studio数据架构的数据建模过程中,用到的建模方法主要有以下三种:

  • 关系建模

    关系建模是用实体关系(Entity Relationship,ER)模型描述企业业务,它在范式理论上符合3NF,出发点是整合数据,将各个系统中的数据以整个企业角度按主题进行相似性组合和合并,并进行一致性处理,为数据分析决策服务,但是并不能直接用于分析决策。

    用户在关系建模过程中,可以从数仓规划去设计物理模型。

    • 物理模型:是在逻辑数据模型的基础上,考虑各种具体的技术实现因素,进行数据库体系结构设计,真正实现数据在数据库中的存放,例如:所选的数据仓库是DWS或MRS_Hive。
  • 维度建模

    维度建模是从分析决策的需求出发构建模型,它主要是为分析需求服务,因此它重点关注用户如何更快速地完成需求分析,同时具有较好的大规模复杂查询的响应性能。

    多维模型是由数字型度量值组成的一张事实表连接到一组包含描述属性的多张维度表,事实表与维度表通过主/外键实现关联。典型的维度模型有星形模型,以及在一些特殊场景下使用的雪花模型。

  • 数据集市

    又称为DM(Data Mart),DM面向展现层,数据有多级汇总,由一个特定的分析对象及其相关的统计指标组成的,向用户提供了以统计粒度为主题的所有统计数据。

DataArts Studio数据架构中,维度建模是以维度建模理论为基础,抽象出事实和维度,构建维度模型和事实模型,同时对报表需求进行抽象整理出相关指标体系,通过数据集市构建出汇总模型。

数据架构总览

DataArts Studio控制台首页,选择对应工作空间的“数据架构”模块,进入数据架构页面,查看“总览”,如图1所示。

图1 数据架构总览
  • 我的待办
    • 显示“我的申请”“待我审核”的数量。
    • 单击每一项上面统计数量将分别跳转到“我的申请”“待我审核”页面。
  • 资产概览
    • 显示数据架构中所有对象的总量。
    • 单击每个对象名称后的统计数量将跳转到该对象的管理页面。
  • 快捷入口

    显示数据架构数据治理方法的整体流程。单击流程下的具体操作,可以跳转到对应的界面。

  • 数据架构流程
    • 显示数据架构流程以及与DataArts Studio其他模块间的交互关系。关于数据架构流程的详细描述,请参见数据架构使用流程
    • 将鼠标移至流程图上的对象名称之上,页面上将显示对象的描述信息。
    • 对于DataArts Studio已支持的对象,单击对象名称,可跳转至该对象的管理页面。

数据架构信息架构

信息架构是以结构化的方式描述在业务运作和管理决策中所需要的各类信息及其关系的一套整体组件规范。在数据架构的“信息架构”页面,可以查看和管理所有的表,包括逻辑实体、物理表、维度表、事实表、汇总表等资源。

DataArts Studio控制台首页,选择对应工作空间的“数据架构”模块,进入数据架构页面,查看“信息架构”

在信息架构页面,可以执行以下操作:
  • 搜索

    在“信息架构”列表右上方,单击“高级搜索”,设置表名、类型、数据源等筛选条件,然后单击“搜索”可以查找指定的表,单击“表名称”,可以进入表的详情页面,查看表的详细信息。

  • 新建

    单击“新建”,可以新建逻辑实体、物理表、维度、事实表和汇总表。创建的过程可以参见逻辑模型关系建模新建维度新建事实表数据集市

  • 同步

    单击“更多 > 同步”,可以同步表到数据目录,作为技术资产;同步逻辑模型到数据目录,作为业务资产。企业模式下,进行同步时,可以选择同步到生产环境或开发环境。系统默认同步到生产环境。

  • 修改主题

    单击“更多 > 修改主题”,可以将选中的表更改到其它主题。

  • 删除

    单击“更多 > 删除”,可以删除数据表,其中发布审核中,已发布和下线审核中状态的数据表不可被删除。且数据被引用的数据表不可被删除。

  • 下线

    单击“更多 > 下线”,可以下线已发布且不带下展的数据表。数据被引用的数据表不支持下线。

    “带下展”,指发布审核后又重新编辑的数据。

  • 发布

    单击“发布”,可发布数据表。发布审核中、下线审核中、已发布(不带下展)状态的数据表不支持发布。企业模式下,进行发布时,可以选择发布到生产环境或开发环境。系统默认发布到生产环境。

  • 关联质量规则

    单击“关联质量规则”,配置下图所示的相关参数,完成质量规则的关联。有关关联质量规则的更多信息,您也可以参考关联质量规则

    图2 关联质量规则

    生成异常数据:打开此项,表示异常数据将按照配置的参数存储到规定的库中。