维度建模
维度是用于观察和分析业务数据的视角,支撑对数据汇聚、钻取、切片分析,用于SQL中的GROUP BY条件。维度多数具有层级结构,如:时间维度(其中包括年度、季度、月度等级别的内容)。
- 单击左侧导航栏维度建模,进入维度建模页面,选择右边的新增,进入新增维度编辑页面。
图1 维度建模1
- 选择所属主题,填入基本信息,包括:维度名称、维度编码、维度类型、资产责任人。填入物化配置,包括:数据库连接类型、选择相应数据连接、数据库、Schema。最后添加的属性配置。单击发布,勾选自助审批。
图2 维度建模2
- 发布之后会将维度物化到数据库中,在维度表里可以查看。
事实表:归属于某个业务过程的事实逻辑表,可以丰富具体业务过程所对应事务的详细信息。创建事实逻辑表即完成公共的事务明细数据沉淀,从而便于提取业务中事务相关的明细数据。
- 单击“维度建模”,右侧选择事实表切换到事实表管理界面。
图3 事实表1
- 单击新建,进入事实表新建页面,选择所属主题,填入表名称、表编码、数据连接类型、数据库连接、Schema、资产责任人、存储方式及描述等;配置事实表添加维度字段。最后单击发布,勾选自助审批。
图4 事实表2
布后,在事实表中查看
汇总表的创建必须依赖衍生指标和复合指标,因此需要在技术指标添加完成之后才能进行汇总表的新建,将复合指标计算结果写入汇总表中。
- 单击规范设计左侧“维度建模”,切换到汇总表页面,单击新建,进入新增汇总表编辑页面。
图5 汇总表1
- 进入新增汇总表编辑页面。填入所属主题、表名称、表编码、统计维度选择客户类型、数据连接类型、数据源、数据库和、Schema、资产责任人。
图6 汇总表2
- 指标配置,单击添加,选择之前创建的衍生指标和复合指标。最后单击右下角的发布,勾选自助审批。
图7 汇总表3
查看汇总表,状态为发布状态。
数据集市是面向数据应用为出发点,一个数据集市可以支持多个相关的数据应用。数据集市的作用与指标汇总层类似,但服务的目标系统只是指标汇总层的一部分,因此集市比指标汇总层更面向应用和用户。
集市层与指标汇总层类似,也是采用维度建模方式,常见的有星座模型、雪花模型等,只需要按实际应用需要设计、开发即可。
- 设计步骤
图8 设计步骤
应用需求分析:这部分主要针对数据应用系统所需要的数据范围及指标来确定,因此是先分析数据应用系统的需求,再提炼数据集市的数据接口需求
目标表设计:即数据集市结果表设计,根据数据应用的需求进行数据表设计
数据源分析:主要分析数据仓库的数据如何满足集市的需要,即确定需要数据仓库的那些表数据,如果数据仓库没有,则需要数据仓库进行数据补充
数据仓库表与目标表字段进行映射,确定加工规则
验证数据并调整加工规则
- 实施步骤
根据设计好的目标表,创建DM层物理表
基于两张汇总表进行逻辑开发和字段映射
验证数据并配置调度作业,调度作业可以加在已有的作业中,也可以单独创建集市层作业,本次打样单独创建集市层作业。