更新时间:2024-02-22 GMT+08:00
分享

数据架构概述

模型设计方法概述

根据业务需求抽取信息的主要特征,模拟和抽象出一个能够反映业务信息(对象)之间关联关系的模型,即数据模型。数据模型也是可视化的展现企业内部信息如何组织的蓝图。数据模型应满足三方面要求:能比较真实地模拟业务(场景);容易为人所理解;便于在IT系统中实现。

DataArts Studio数据架构的数据建模过程中,用到的建模方法主要有以下两种:

  • 关系建模

    关系建模是用实体关系(Entity Relationship,ER)模型描述企业业务,它在范式理论上符合3NF,出发点是整合数据,将各个系统中的数据以整个企业角度按主题进行相似性组合和合并,并进行一致性处理,为数据分析决策服务,但是并不能直接用于分析决策。

    用户在关系建模过程中,可以从以下三个层次去设计关系模型,这三个层次是逐层递进的,先设计概念模型,再进一步细化设计出逻辑模型,最后设计物理模型。

    • 概念模型:是从用户的视角,主要从业务流程、活动中涉及的主要业务数据出发,抽象出关键的业务实体,并描述这些实体间的关系。
    • 逻辑模型:是概念模型的进一步细化,通过实体、属性和关系勾勒出企业的业务信息蓝图,是IT和业务人员沟通的桥梁。逻辑数据模型是一组规范化的逻辑表结构,逻辑数据模型是根据业务规则确定的,关于业务对象、业务对象的数据项及业务对象之间关系的基本蓝图。
    • 物理模型:是在逻辑数据模型的基础上,考虑各种具体的技术实现因素,进行数据库体系结构设计,真正实现数据在数据库中的存放,例如:所选的数据仓库是DWS或MRS_Hive。
    • 在关系建模中,系统支持将物理模型和逻辑模型进行区分。例如,选择某个物理模型进入后,左侧的下拉列表里面都是物理模型,与逻辑模型区分开来。
  • 维度建模

    维度建模是从分析决策的需求出发构建模型,它主要是为分析需求服务,因此它重点关注用户如何更快速地完成需求分析,同时具有较好的大规模复杂查询的响应性能。

    多维模型是由数字型度量值组成的一张事实表连接到一组包含描述属性的多张维度表,事实表与维度表通过主/外键实现关联。典型的维度模型有星形模型,以及在一些特殊场景下使用的雪花模型。

    DataArts Studio数据架构中,维度建模是以维度建模理论为基础,抽象出事实和维度,构建维度模型和事实模型,同时对报表需求进行抽象整理出相关指标体系,构建出汇总模型。

数据架构总览

DataArts Studio控制台首页,选择对应工作空间的“数据架构”模块,进入数据架构页面,查看“总览”,如图1所示。

图1 数据架构总览
  • 我的待办
    • 显示“我的申请”“待我审核”的数量。
    • 单击每一项上面统计数量将分别跳转到“我的申请”“待我审核”页面。
  • 资产概览
    • 显示数据架构中所有对象的总量。
    • 单击每个对象名称后的统计数量将跳转的该对象的管理页面。
  • 快捷入口

    显示数据架构数据治理方法的整体流程。单击流程下的具体操作,可以跳转到对应的界面。

  • 数据架构流程
    • 显示数据架构流程以及与DataArts Studio其他模块间的交互关系。关于数据架构流程的详细描述,请参见数据架构使用流程
    • 将鼠标移至流程图上的对象名称之上,页面上将显示对象的描述信息。
    • 对于DataArts Studio已支持的对象,单击对象名称,可跳转至该对象的管理页面。

数据架构信息架构

信息架构是以结构化的方式描述在业务运作和管理决策中所需要的各类信息及其关系的一套整体组件规范。在数据架构的“信息架构”页面,可以查看和管理所有的表,包括业务表、维度表、事实表、汇总表等资源。

DataArts Studio控制台首页,选择对应工作空间的“数据架构”模块,进入数据架构页面,查看“信息架构”

在信息架构页面,可以执行以下操作:
  • 搜索

    在“信息架构”列表右上方,单击“高级搜索”,设置表名、类型、数据源等筛选条件,然后单击“搜索”可以查找指定的表,单击“表名称”,可以进入表的详情页面,查看表的详细信息。

  • 新建

    单击“新建”,可以新建业务表-逻辑模型、业务表-物理模型、维度表、事实表和汇总表。创建的过程可以参见逻辑模型设计物理模型设计新建维度新建事实表新建汇总表

  • 同步

    单击“更多 > 同步”,可以同步表到数据目录,作为技术资产;同步逻辑模型到数据目录,作为业务资产。进行同步时,可以选择同步到生产环境或开发环境。系统默认同步到生产环境。

  • 修改主题

    单击“更多 > 修改主题”,可以将选中的表更改到其它主题。

  • 删除

    单击“更多 > 删除”,可以删除数据表,其中发布审核中,已发布和下线审核中状态的数据表不可被删除。且数据被引用的数据表不可被删除。

  • 下线

    单击“更多 > 下线”,可以下线已发布且不带下展的数据表。数据被引用的数据表不支持下线。

    “带下展”,指发布审核后又重新编辑的数据。

  • 发布

    单击“发布”,可发布数据表。发布审核中、下线审核中、已发布(不带下展)状态的数据表不支持发布。进行发布时,可以选择发布到生产环境或开发环境。系统默认发布到生产环境。

  • 关联质量规则

    单击“关联质量规则”,配置下图所示的相关参数,完成质量规则的关联。有关关联质量规则的更多信息,您也可以参考关联质量规则

    图2 关联质量规则

    生成异常数据:勾选此项,表示异常数据将按照配置的参数存储到规定的库中。

分享:

    相关文档

    相关产品