数据工程实施流程
本文档介绍如何构建端到端数据处理流程,协助政府进行数据治理,实现政务大数据一体化管理
序号 |
类 |
项目 |
描述 |
---|---|---|---|
1 |
组建专班 |
首席数据官 |
首席数据官 |
业务专员 |
业务专员 |
||
数据专员 |
数据专员 |
||
2 |
数据架构规划设计 |
数据调研 |
数据调研 |
业务域L1和主题域L2定义 |
业务域L1和主题域L2定义 |
||
梳理业务流程 |
梳理业务流程 |
||
业务流程活动 |
业务流程活动 |
||
业务对象L3梳理和数据owner确定 |
业务对象L3梳理和数据owner确定 |
||
逻辑实体L4设计和数据来源 |
逻辑实体L4设计和数据来源 |
||
属性L5设计和数据分级 |
属性L5设计和数据分级 |
||
数据标准/指标设计 |
数据标准/指标设计 |
||
3 |
数据工程实施 |
数据集成 |
数据集成前探查 |
全量数据同步 |
|||
增量数据同步 |
|||
规范设计 |
配置中心(审核人、功能、模型管理配置) |
||
流程设计 |
|||
主题设计 |
|||
码表管理 |
|||
数据标准 |
|||
关系建模(逻辑模型、物理模型) |
|||
业务指标 |
|||
技术指标 |
|||
维度建模 |
|||
数据开发 |
连接管理 |
||
脚本开发 |
|||
作业开发 |
|||
实例管理 |
|||
补数据监控 |
|||
配置环境变量 |
|||
数据治理 |
数据质量监控 |
||
数据资产 |
元数据采集 |
||
业务资产 |
|||
技术资产 |
|||
数据服务 |
创建专享版集群 |
||
设置API分配配额 |
|||
新建审核人 |
|||
开发API |
|||
调用API |