数据建模
- 数据分层分域
支持数据按如 ODS、DWD、DWS、ADS 等数据分层设置,支持数据按照主题、部门等进行数据域设置。为模型设计从业务和技术的角度提供分类分层框架,是数仓规划的关键基础。
图1 数据分层分域1
图2 数据分层分域2
- 业务实体管理
基于对企业各业务线的业务实体调研,对不同业务实体所涉及的数据维度进行汇总,如时间、日期、地区、部门等。
图3 业务实体管理1
图4 业务实体管理2
- 业务流程及过程管理
基于对企业业务流程及业务过程调研,对需要构建的事实模型进行汇总。其中,业务流程包含多个业务过程。
图5 业务流程及过程管理1
图6 业务流程及过程管理2
- 总线矩阵
完成业务实体、业务流程、业务过程的构建后,平台会形成由待填充的事实逻辑模型和维度逻辑模型构成的总线矩阵。模型设计人员可以方便的按照矩阵的指引,完成维度表、事实表等逻辑模型设计。
图7 总线矩阵
- 逻辑模型创建
在逻辑模型设计中,用户可以定义维度、事实等类型的逻辑模型,新增属性,添加属性编码、名称、字段类型等参数,完成逻辑模型设计,并为其分配到指定的数据域及数据分层中。
图8 逻辑模型创建
- 可视化设计
在设计模式中,可以通过图形化拖拉拽方式,按照数仓规划,配置维度模型和事实模型之间的关联关系,以便于数据开发人员在数据开发过程中,能够准确的理解各模型之间的关系并高效准确的设计 ETL 任务。
图9 可视化设计
- 逆向工程
支持通过数据库导入的方式,快速将外部数据库中的表逆向为逻辑模型,导入到 DataFacts平台中,帮助用户在数据同步、ETL 任务迁移等场景中,复用已有的逻辑模型,节省重复建设成本。
图10 逆向工程
- 免SQL物理化
通过配置化方式,依照数仓规划指引,快速将过审的逻辑模型物理化到数仓位置,降低技术门槛。
图11 免SQL物理化
图12 免SQL物理化2