方案概述

应用场景

2022年9月13日国务院办公厅印发《全国一体化政务大数据体系建设指南》，明确建设目标：2023年底前，全国一体化政务大数据体系初步形成，基本具备数据目录管理、数据归集、数据治理、大数据分析、安全防护等能力，数据共享和开放能力显著增强，政务数据管理服务水平明显提升。到2025年，全国一体化政务大数据体系更加完备，政务数据管理更加高效，政务数据资源全部纳入目录管理。并明确统筹管理一体化、数据目录一体化、数据资源一体化、共享交换一体化、数据服务一体化、算力设施一体化、标准规范一体化、安全保障一体化八大建设任务。但当前政务大数据普遍存在如下问题：

1. 体制机制缺失：尚未建立政务数据治理体质机制，各级数据资源管理部门和业务部门职责分工不明确，无法持续性开展数据治理工作。
2. 业务目标不清晰：政务数据治理工作仅围绕数据开展，并未以业务目标为导向，围绕相应的业务目标开展数据治理实施工作，导致数据治理价值无法体现
3. 缺乏统一数据标准：政务信息化建设存在“各自为政、条块分割、烟囱林立、信息孤岛”等问题，由此导致数据标准管理分散，数据标准执行力度差。
4. 数据资源底数不清：各部门仅针对国办要求进行政务信息资源目录进行梳理，并未对部门全量数据进行盘点，无法做到 “心中有数”。
5. 数据质量亟待提升：虽已建成了统一的数据共享交换平台，但各部门对数据质量的重视程度不高，数据质量把控不严，导致数据错、重、漏现象频现。

通过建设一套包含大数据MRS、数据仓库DWS、数据治理DataArts Studio的数管平台，采用湖仓一体的先进技术架构，兼顾权限管控和资源隔离的能力，构建省市资源中枢和能力底座；同时引入《华为数据之道》，以业务对象为核心，进行数据治理，最终实现：

1. 理清资产：盘清全省（或市本级）政府数据家底，按需归集政务数据与公共数据；
2. 高效共享：持续提升数据质量，完善数据管理，完成国家对数据开放共享的各项要求，实现高质量数据的共享和使用，实现跨区域、跨部门、跨层级的数据融合，完善数据统筹协调的技术基础；
3. 业务创新：支撑政务服务实现“秒批秒办”“全程网办”“跨省通办”“一件事一次办”等；智能分析跨部门、跨行业、跨地域监管数据，支撑风险预警、决策分析、重点事件跟踪，联合监管等业务。实现舆情洞察，全域感知、情感分析、趋势研判等能力，支撑政府科学决策。

方案架构

本文着重介绍大数据平台技术架构和数据工程总体架构。

华为政务大数据方案在客户已建的数据交换平台的基础上，构筑5平台5体系。

图1 业务架构图

5平台包括算力设施平台、共享交换平台（数据归集平台）、数据使能平台，数据资源平台、数据服务平台。

• 算力设施平台提供统一的数据湖功能，为数据存储与计算提供使用基础。依托云底座以及MRS、DWS数据平台，提供大数据的计算分析存储能力。
• 共享交换平台在已有的数据共享交换平台基础上，新增数据集成能力，为政务场景各种类型的数据提供归集接入的功能，将数据入湖。通过DATAARTS STUDIO CDM批量同步、MRS CDL/Kafka实时同步等提供同构/异构数据源之间数据迁移服务，实现数据自由流动。
• 数据使能平台致力于管理政务数据，实现数据“找得到、管得住、用得好”。依托DATAARTS STUDIO服务平台，实现数据模型的规范设计统一、数据开发、数据质量以及数据资产管理。
• 数据资源平台将政务数据目录化，建设政务基础库。通过MRS/DWS平台批处理、流式处理能力实现归集库->中心库->基础资源库的建设。
• 数据服务平台将湖内数据开放，依托ROMA Connect平台的API接口能力，开放给上层应用使用。

图2 部署架构图

架构描述：

1. 整体方案交付内容包括HCS 基础云服务+MRS+DWS+DataArts Studio。
2. 大数据物理机区也可与业务区部署在一起，当前仅仅是提供了一种部署方案，各局点可根据现网情况进行部署，主要参考集成设计指导书为主。

5体系包括集成及交付验证体系，运维保障体系，业务运营体系，安全保障体系及标准规范体系。集成及交付验证体系为政务大数据平台的设计、交付、开发、验证的标准体系。可复制可实施。运维保障体系为政务大数据平台的监控能力，提供平台的运维监控以及可视化的能力。业务运营体系为业务统一的运营流程，提供基础的运营管理。安全保障体系为平台具备的各个层次的安全能力，保障平台安全不受侵。标准规范体系为平台遵循的统一规范，保障平台按照统一标准设计实施。

在5大体系和5平台的统一支撑下，构建形成以人口、法人、宏观经济、地理信息、电子证照等公共基础数据库和各类主题数据库为基础，推动各级各部门政务数据信息向的政务大数据共享开放平台迁移集聚，发挥政务大数据支撑多部门协同服务的作用，简化优化群众办事流程，尽可能利企便民，打造公共服务和社会治理的新模式，带动地方经济发展，同时支撑更加科学的政府管理研判和决策机制。

数据工程总体框架主要包括数据来源、汇聚治理、融合服务、数据资产目录、数据使用、管理体系等六个方面。

图3 数据工程总体框架

• ①数据来源：包括政务部门数据和外部数据，政务部门数据分为存量数据和增量数据，外部数据包括互联网数据、物联网数据和社会数据。
• ②汇聚治理：政务部门数据按照七项要求入湖，开展数据治理。入湖要求包括明确数据负责人、确定数据源、描述业务数据、确定数据标准、确定数据分类分级、确定质量规则、有时空属性的数据补充北斗网格码。
• ③融合服务：采用以业务对象、业务（事件）、北斗时空的方式进行数据融合治理，根据需要通过算法模型、智能标签、指标数据的融合方式对外提供数据服务。
• ④数据资产目录。将入湖数据和融合数据统一映射到全省数据资产目录系统，最终形成全省数据资源一张图，并以目录的方式统一对外提供检索和服务。
• ⑤数据使用：通过数据服务调用高质量的数据湖数据，支撑各部门场景创新、分析利用、数据运营三类应用。
• ⑥管理体系：建设全省统一的数据管理机制、组织架构、数据分类、数据架构、标准规范、数据质量、安全保障、评估评价等，形成全省数据管理共识，保障数据工程有效落实。数据架构

数据架构是以业务对象为核心，将业务领域中人、事、物、地作为核心数据要素进行管理，包括L1领域分类、L2主题域、L3业务对象、L4逻辑实体、L5属性。通过数据架构让全省有共同语言，明确数据来源和管理责任单位，解决数据问题争议，实现“一数一源、一源多用”，确保数据在各业务领域间高效、准确地使用。

L1是业务域，是顶层信息分类，基于业务管理边界进行分类，通过数据视角体现最高层面关注的业务领域。

L2是主题域，是互不重叠的数据分类，管辖一组密切相关的业务对象。

L3是业务对象，是数据架构的核心层，用于定义业务中重要的人、事、物、地，数据架构建设和数据治理主要围绕业务对象开展。

L4是逻辑实体，用于描述业务对象的某方面特征的一组或多组属性信息。

L5是属性，用于描述业务对象的某方面特征的最小颗粒度的属性信息。

方案优势

• 定位明确：华为聚焦做大数据工具，以开放、合作、共赢为原则，融入当地生态；此外华为明确定位为解决方案供应商，承诺永不进行数据变现。使能生态伙伴，按照统一的架构与标准，进行预集成验证，通过华为最严苛的安全测试，整合从应用、业务到平台的完整解决方案。
• 合规性高：满足政务大数据平台安全合规的需求；数据“三不一可”；进不来，拿不走，看不懂，可追溯。数据全生命周期安全保障，包括数据采集、传输、存储、共享、使用、销毁；数据安全管理，授权、认证、防护、加密、DLP、脱敏、审计、溯源、分析多维度管控；按照管理权、执行权、审计权的分立模式，实现一套数据全生命周期的统一大数据安全体系服务。
• 高效治理：针对客户多工具、多平台带来页面多入口、账户不统一、管理成本激增等问题，DataArk服务提供符合华为云规范的N统一特性（认证、鉴权、用户、角色、服务目录、工作空间、API网关），为客户的多种数据治理工具提供统一入口，实现数据的统一管控；遵从华为数据之道，更快构建数字化转型体系，提供一站式治理，全流程可视可管，统一入口，统一体验，统一数据源管理，一次接入，全程共享
• 流程贯通：多厂商数据治理工具会带来数据断点，同一份数据很难在多套工具间同步，DataArk服务提供关键指标、数据、模型、数据标准的全流程贯通能力，保障数据规范端到端一致性；数据一次生成落地后，自动在工具间同步，治理效率大幅提升；数据源、数据湖仓等信息共享，数据打通，减少维护工作，保障正确性；
• ISV伙伴对接预集成：服务已完成5+伙伴治理工具与华为产品的预对接工作，通过自动化部署本服务，30分钟内即可完成与客户现网ISV工具的对接；ISV伙伴快速对接适配：DataArk服务提供开放框架，规范接口，支持客户指定伙伴30天内快速灵活接入（新模块的具体开发对接时长，根据ISV能力会有浮动；
• 行业沉淀：用户可通过DataArk数智融合集成平台的行业资产沉淀订阅能力，快速订阅华为在政府行业中沉淀的数据标准、模型、脚本、资产和指标，帮助客户快速获取行业内优秀数据资产，并且更专注于自身业务本质的治理；自动分析局点资产，分级脱敏，确保资产分享过程数据安全；订阅资产一键部署到本地工作空间，高效完成数据治理。