更新时间:2024-12-18 GMT+08:00

数仓规划

数仓规划,目前系统默认的数仓分层包含SDI、DWI、DWR、DM(Data Mart)等4层,支持用户自定义数仓分层。数仓规划对数仓分层以及数仓模型进行统一管理。

  • 关系建模下包含SDI层和DWI层两层模型,物理模型归属于两层模型之一。
    • SDI:Source Data Integration,又称贴源数据层。SDI是源系统数据的简单落地。
    • DWI:Data Warehouse Integration,又称数据整合层。DWI整合多个源系统数据,对源系统进来的数据进行整合、清洗,并基于三范式进行关系建模。

      物理模型设计时的考虑事项如下:

      • 物理模型要确保业务需求及业务规则所要求的功能得到满足,性能得到保障。
      • 物理模型要确保数据的一致性及数据的质量。
      • 新业务或新功能增加时能够以较少的改动或不改动就能够满足需求的扩展。
  • 维度建模需要基于维度,新建DWR层模型,最终将数据汇总到DM层模型中。
    • DWR:Data Warehouse Report,又称数据报告层。DWR基于多维模型,和DWI层数据粒度保持一致。
  • 数据集市,面向展现层,数据有多级汇总。
    • DM(Data Mart):又称数据集市。DM面向展现层,数据有多级汇总。

系统默认的数仓分层的四层层级的名称支持由管理员自定义,单击层级名后的即可重命名。重命名建议能够区分不同层级,规则为只能包含英文字母、中文、数字、下划线,且以英文字母或中文开头。

物理模型、维度模型、数据集市,都是模型,在数仓规划进行统一管理。

数仓规划支持细粒度权限管控,在数据安全模块对数据架构模型目录权限管控策略进行配置。

新建数仓分层

数仓分层支持用户根据实际业务场景进行自定义。具体操作如下:

  1. 进入数据架构主页面。
  2. 在数据架构控制台,单击左侧导航树中的“模型设计 > 数仓规划”
  3. 单击一个数仓分层右侧的“新建”,选择“添加至前面”或“添加至后面”,进入“新建数仓分层”页面。

    “添加至前面”或“添加至后面”表示新建的数仓分层在当前数仓分层的前面或者后面。

    图1 自定义数仓分层

  4. 配置数仓分层相关参数。
    图2 新建数仓分层

    表1 数仓分层参数说明

    参数

    说明

    *分层名称

    定义数仓分层名称。只能包含中文、英文字母、数字和下划线,且以中文或英文字母开头。输入长度不能超过10个字符。

    *分层类型

    选择分层类型。分层类型选择以后不支持修改。

    • 关系建模
    • 维度建模
    • 数据集市
      说明:
      1. 关系建模一般用于业务系统及数仓贴源层、整合层的建模。
      2. 维度建模用于数仓公共层或数据报告层的建模。
      3. 数据集市用于汇总表和应用表等数据应用表的建模。

    描述

    数仓分层描述信息。支持的长度0~200字符。

    禁用自定义项

    选择自定义项。如果没有自定义项,则表示没有可禁用的自定义项。

  5. 单击“确定”。数仓分层新建完成。
  6. 更多操作如下:
    • 单击已新建的数仓分层右侧的“编辑”,可以修改数仓分层的参数信息,分层类型不支持修改。
    • 单击已新建的数仓分层右侧的“删除”,可以删除数仓分层。该分层下有模型数据,不可删除。

新建模型

  1. 进入数据架构主页面。
  2. 在数据架构控制台,单击左侧导航树中的“模型设计 > 数仓规划”
  3. 单击一个数仓分层下面的“添加模型”,进入“新建模型”页面。
  4. 配置模型相关参数。
    图3 新建模型

    表2 模型参数说明

    参数

    说明

    *模型名称

    定义模型名称。只能包含中文、英文字母、数字和下划线。

    数据连接类型

    选择数据连接类型。

    • 不限制数据连接
    • 选择数据连接

    *数仓分层

    • 如果是在DWI层、SDI层或者自定义关系建模数仓分层,此处支持选择DWI、SDI、自定义数仓分层。
      说明:
      • SDI:Source Data Integration,又称贴源数据层。SDI是源系统数据的简单落地。
      • DWI:Data Warehouse Integration,又称数据整合层。DWI整合多个源系统数据,对源系统进来的数据进行整合、清洗,并基于三范式进行关系建模。
    • 如果是在DWR层或者自定义维度建模数仓分层,此处仅可选择DWR、自定义数仓分层。
    • 如果是在DM层或者自定义数据集市数仓分层,此处仅可选择DM、自定义数仓分层。

    前缀校验

    输入检验前缀。只能包含英文字母、数字和下划线,且以英文字母开头。

    说明:

    模型校验前缀,针对关系建模里面的物理表(关系表)、维度建模里面的事实表、数据集市的汇总表的新建、修改、导入表时,会校验是否有前缀,没有的话会校验失败。进行逆向操作时,也会校验是否有前缀。

    描述

    数仓模型描述信息。支持的长度0~600字符。

  5. 单击“确定”。数仓模型新建完成。
  6. 更多操作如下:
    • 单击已新建的数仓模型右侧的“编辑”,可以修改数仓模型的参数信息,数据连接类型不支持修改。
    • 单击已新建的数仓模型右侧的“删除”,可以删除数仓模型。删除操作无法恢复,请谨慎操作。如果模型包含业务表,无法删除。
    • 单击已新建的数仓模型的“数据表”或“字段”或“标准覆盖率”可以跳转到对应的数仓分层页面。比如,单击DWI数仓分层模型的“数据表”会跳转到“关系建模”页面。
    • 如果数仓模型比较多,可以单击“查看更多”和“收起更多”进行折叠展示。
    • “未分层”的数仓模型会在页面上方显示。支持编辑和删除。
      • 单击“编辑”,可以修改数仓模型的参数信息,可以给未分层的数仓模型配置数仓分层(此处支持选择DWI、SDI、自定义数仓分层)。数据连接类型不支持修改。
      • 单击“删除”,可以修改数仓模型的参数信息,可以删除数仓模型。删除操作无法恢复,请谨慎操作。如果模型包含业务表,无法删除。