数据工程实施流程
本文档介绍如何构建端到端数据处理流程,协助政府进行数据治理,实现政务大数据一体化管理
| 序号 | 类 | 项目 | 描述 |
|---|---|---|---|
| 1 | 组建专班 | 首席数据官 | 首席数据官 |
| 业务专员 | 业务专员 | ||
| 数据专员 | 数据专员 | ||
| 2 | 数据架构规划设计 | 数据调研 | 数据调研 |
| 业务域L1和主题域L2定义 | 业务域L1和主题域L2定义 | ||
| 梳理业务流程 | 梳理业务流程 | ||
| 业务流程活动 | 业务流程活动 | ||
| 业务对象L3梳理和数据owner确定 | 业务对象L3梳理和数据owner确定 | ||
| 逻辑实体L4设计和数据来源 | 逻辑实体L4设计和数据来源 | ||
| 属性L5设计和数据分级 | 属性L5设计和数据分级 | ||
| 数据标准/指标设计 | 数据标准/指标设计 | ||
| 3 | 数据工程实施 | 数据集成 | 数据集成前探查 |
| 全量数据同步 | |||
| 增量数据同步 | |||
| 规范设计 | 配置中心(审核人、功能、模型管理配置) | ||
| 流程设计 | |||
| 主题设计 | |||
| 码表管理 | |||
| 数据标准 | |||
| 关系建模(逻辑模型、物理模型) | |||
| 业务指标 | |||
| 技术指标 | |||
| 维度建模 | |||
| 数据开发 | 连接管理 | ||
| 脚本开发 | |||
| 作业开发 | |||
| 实例管理 | |||
| 补数据监控 | |||
| 配置环境变量 | |||
| 数据治理 | 数据质量监控 | ||
| 数据资产 | 元数据采集 | ||
| 业务资产 | |||
| 技术资产 | |||
| 数据服务 | 创建专享版集群 | ||
| 设置API分配配额 | |||
| 新建审核人 | |||
| 开发API | |||
| 调用API |