更新时间:2024-07-12 GMT+08:00
分享

实施步骤

本方案包括八大模块,每大模块的每个功能模块都有其独立的实施步骤

图1 数据管理&数据应用

以大数据管理服务为例子,其实施步骤大体包含以下内容:

表1 大数据管理服务

项目阶段

服务内容

服务需求调研

/

服务方案设计

/

数据汇聚

包括

互联网数据采集

数据库数据抽取

接口对接

日志文件收集

数据标准化

数据清洗

数据转换

数据去重

数据排序

数据建模

标准数据模型

应用数据模型

知识图谱+HI专家智能

数据结构化

网页/文档的数据结构化

图像OCR

语音识别

语义分析NLP

数据质量检查与管理

实时/周期的数据质量检查

实时/周期数据质量报告

检查内容包括:准确性、一致性、重复性、实体完整性、参照完整性、用户自定义完整性等。

数据资产收集与管理

实时/周期数据资产收集

实时/周期数据资产报告

数据血缘提取与管理

实时/周期数据血缘提取

数据血缘地图维护

其提取的粒度为数据列

数据合规检查与管理

实时/周期数据合规检查

实时/周期数据合规报告

其内容包括法律遵从性、隐私保护、数据最小化、数据保留政策、数据主体权利、数据泄露管理等。

数据安全加固与管理

实时/周期数据安全检查

及时的数据安全加固

其内容包括访问控制、数据加密、数据备份、漏洞管理、安全审计、风险评估、数据脱敏等

相关文档