更新时间:2023-08-09 GMT+08:00
分享

数据工程实施流程

本文档介绍如何构建端到端数据处理流程,协助政府进行数据治理,实现政务大数据一体化管理

表1 构建一体化政务大数据平台数据处理端到端流程

序号

项目

描述

1

组建专班

首席数据官

首席数据官

业务专员

业务专员

数据专员

数据专员

2

数据架构规划设计

数据调研

数据调研

业务域L1和主题域L2定义

业务域L1和主题域L2定义

梳理业务流程

梳理业务流程

业务流程活动

业务流程活动

业务对象L3梳理和数据owner确定

业务对象L3梳理和数据owner确定

逻辑实体L4设计和数据来源

逻辑实体L4设计和数据来源

属性L5设计和数据分级

属性L5设计和数据分级

数据标准/指标设计

数据标准/指标设计

3

数据工程实施

数据集成

数据集成前探查

全量数据同步

增量数据同步

规范设计

配置中心(审核人、功能、模型管理配置)

流程设计

主题设计

码表管理

数据标准

关系建模(逻辑模型、物理模型)

业务指标

技术指标

维度建模

数据开发

连接管理

脚本开发

作业开发

实例管理

补数据监控

配置环境变量

数据治理

数据质量监控

数据资产

元数据采集

业务资产

技术资产

数据服务

创建专享版集群

设置API分配配额

新建审核人

开发API

调用API

相关文档