文档首页/ 专业服务/ 产品介绍/ 上云与实施/ 数据要素集成与实施服务
更新时间:2024-09-14 GMT+08:00

数据要素集成与实施服务

服务概述

以华为数据管理方法论及华为云数据使能解决方案为基础,为客户提供数据全生命周期的规划、设计、集成、治理、实施、运维的数据管理专业服务,以数据驱动业务运营,帮助企业提升运营效率,助力企业数字化转型。

服务范围

  • 数据管理成熟度诊断:对企业数据管理生熟度进行诊断与评估,提供技术路线设计与规划,帮助数据管理成熟度提升。
  • 数据使能4A架构规划设计:基于企业战略目标进行现状调研,进行企业业务架构、信息架构、技术架构、应用架构的规划和方案设计,支撑数据管理工作落地。
  • 数据使能技术平台集成实施:设计技术平台方案,完成平台开通部署及IT、OT数据入湖。
  • 数据使能方案设计与实施:数据模型、数据标准、数据指标、数据质量的设计与实施。
  • 数据应用集成设计与实施服务:数据可视化应用的场景、方案设计和实施。

前提条件

  • 客户需要提前30天申请数据要素集成与实施服务,以便评估客户业务目标和服务时间计划性。
  • 为客户提供数据要素集成与实施服务时,获得客户合同授权才能履行服务内容。

服务内容

  1. 数据管理成熟度诊断

    数据管理成熟度诊断是一种基于能力成熟度模型框架的能力提升方案,基于DCMM的基础上,融合了华为数据管理经验,描述数据管理能力初始状态发展到最优化的过程。数据管理成熟度模型通过描述各阶段能力特点来定义成熟度级别,当一个组织满足某阶段能力特征时,就可以评估其成熟度等级,并制订一个提高能力的计划。它还可以帮助组织在等级评估的指导下进行改进,在每一个新等级,能力评估会变得更加一致、可预测和可靠。

    企业数据管理成熟度划按照8+1个能力域开展诊断工作,分别为数据政策与流程、数据组织、数据标准、数据架构、数据应用、数据质量、主数据、元数据管理、数据安全等9大能力域。每个能力域下面又分为不同的子能力域,共计28个子能力域;每个评估细项按照5个等级模型进行评估,综合平均后计算出整体数据管理成熟度,输出《企业数据管理生熟度报告》。

    基于《企业数据管理生熟度报告》,可准确识别当前数据管理短板,从组织、制度、平台、数据等维度针对性的制定数据管理优化措施,提升企业数据管理水平,支撑企业业务战略目标。

  2. 数据使能业务架构设计

    数据使能业务架构设计,是业务的结构化表达,描述组织如何运用业务的关键要素来实现其战略意图,旨在基于企业战略目标,为企业提供一个清晰的业务蓝图规划,确保业务架构与企业的使命和愿景保持一致,支撑其战略目标和运营目标达成,主要包含如下几方面工作:

    1. 需求调研

      与企业内部各利益相关部门和负责人进行访谈交流,了解业务需求、痛点和目标,收集业务场景、流程、组织等数据和信息。

    2. 设计内容
      • 业务价值流设计:理解和优化从需求生成到价值实现的整个过程,有效地为客户和企业创造价值。
      • 业务流程设计:梳理现有业务流程,结合业务目标和业务场景规划,对现有业务流程进行流程重构或优化,支撑企业组织架构高效运转。
      • 业务场景设计:根据业务目标和需求,制定业务全景图,规划未来3-5年的业务场景,并匹配项目落地计划。
      • 业务指标设计:基于业务运营需求,梳理关键业务指标,统一业务语言,规范指标计算口径,度量业务运营效果和绩效,衡量业务性能和效果的关键指标(KPI)
  3. 数据使能信息架构设计

    数据使能信息架构设计,以结构化的方式描述在业务运作和管理决策中所需要的各类信息及其关系的一套整体组件规范,主要通过业务需求开展系统调研,对IT系统进行数据探查,根据调研和探查结果进行数据资产目录设计,通过数据治理中心承载落地,用于后续的数据资产管理和消费,主要包含如下几方面工作:

    1. 需求调研
      • 信息收集:基于当期的项目需求范围,收集包括业务流程和分析指标体系等在内的业务文档、系统架构文档、数据字典文档等。
      • 调研分析:通过访谈、相关资料分析解读等方式,明确当期业务需求,深入了解目标业务信息架构,预期输出成果范围等。
    2. 设计内容
      • 数据资产目录设计:参考客户现有及业界最佳实践信息架构,分析实际业务,按“自上而下”和“自下而上”相结合的方式设计数据资产目录(目录范围:L1主题域分组、L2主题域、数据对象L3)。
      • 逻辑模型设计:基于客户业务场景,输出支撑业务对象的逻辑实体及业务属性(逻辑数据实体L4、属性L5)。
      • 数据标准设计:针对数据资产目录重要属性L5,设计并输出数据标准(业务属性),明确数据标准名称、定义、所属业务域、数据OWNER等。
  4. 数据使能技术架构设计

    数据使能技术架构设计,主要从技术角度进行远景的技术架构规划近期的技术方案设计,支撑业务架构、信息架构落地,包含以下几方面内容:

    1. 技术架构规划:以业务需求为输入,从功能、性能、安全性、可靠性、可扩展性等方面,规划满足未来3-5年业务需求的技术平台架构。
    2. 集成架构设计:基于技术架构规划,设计当期项目的技术平台集成架构,设计技术平台各云服务东西南北向的集成关系,设计技术平台各服务的参数配置。
    3. 网络架构设计:规划技术平台的组网架构,对数据入湖(VPN、专线、Internet)存算、消费进行网络方案设计,结合企业网络IP规划,设计技术平台的VPC、子网方案,并给予网络访问最小化原则设计安全组规则。
    4. 部署架构设计:以集成架构为输入,设计可支持业务需求的技术平台各云服务的详细规格和数量,指导技术平台集成实施。
    5. 安全架构设计:从采存算管用的数据生命周期视角,规划整体的安全防护架构,设计满足当期项目需求的、覆盖各数据处理环节的安全方案。
    6. 数据集成方案设计:基于业务访问的时效性要求和数据特征(库表、API、消息、时间戳等),设计批量数据方案和实时数据集成方案。
  5. 数据使能应用架构设计

    数据使能应用架构设计,描述了各种用于支持业务架构并对信息/数据架构所定义的各种数据进行处理的应用功能,以业务需求和业务场景为输入,设计应用的整体架构,包括前端、后端、数据库等各个组件和模块,以及它们之间的关系和交互方式,主要包含以下几方面内容:

    1. 需求收集与分析:与客户进行会议和讨论,深入了解应用的需求、功能和问题,明确应用架构设计的核心目标。
    2. 技术选择和评估:评估不同技术选项,选择适合项目需求的技术栈,考虑性能、可扩展性、安全性等因素。
    3. 用户界面(UI)设计:设计用户界面,包括界面布局、交互设计、视觉设计等,以提供良好的用户体验。
    4. 前端与后端架构:设计前端和后端的架构,包括页面结构、API设计、数据流动等。
    5. 数据库设计:设计数据库结构、数据模型和关系,确保数据的有效存储和管理。
    6. 界面与功能交互:设计用户界面与应用功能的交互方式,确保用户可以顺畅地操作和使用应用。
    7. 应用集成方案:设计应用与其他系统和服务的集成方案,确保应用能够与外部系统协同工作。
  6. 数据使能技术平台集成实施

    数据使能技术平台集成实施,主要包含技术平台部署、数据入湖的集成实施工作:

    1. 技术平台集成实施:根据数据使能技术架构设计方案,配置平台间各服务的集成关系和参数,对技术平台进行开通、部署实施;
    2. IT数据入湖集成实施:基于IT数据集成方案,通过华为云CDM、DRS等数据采集工具,实施数据库表、API、消息、文件等数据批量/实时入湖操作,完成相应的数据清洗、转换、作业配置等工作;
    3. OT数据入湖集成实施:基于OT数据集成方案,通过IIoT平台,完成边缘侧数据采集、中心侧数据汇聚的OT数据入湖操作。
  7. 数据使能方案设计

    数据使能方案设计,主要包含以下几方面内容:

    1. 数据模型设计:根据信息架构设计输出的数据资产目录及逻辑模型,输出数据使能平台物理模型设计方案,输出数据使能平台SDI、DWI、DWR、DM分层设计方案,输出各层的作业调度方案。
    2. 数据标准设计:基于国家标准和行业、企业数据标准,对每一行数据、每一个字段的具体取值进行标准化,监控数据质量,提升数据可用性。
    3. 数据质量设计:基于数据质量六性设计数据质量检测规则,对业务指标和数据质量进行监控,帮助用户及时发现数据质量问题。
    4. 数据指标设计:基于业务架构设计输出的业务指标口径,输出技术指标的计算逻辑和数据依赖,指导技术指标开发。
    5. 数据服务设计:基于数据访问需求,设计Restful风格的数据服务API接口,包含入参、鉴权等参数。
  8. 数据使能方案实施

    数据使能方案实施,主要包含以下几方面内容:

    1. 数据模型实施:将信息架构资产目录导入数据治理中心,进行可视化逻辑模型、物理模型开发、脚本开发、作业开发、作业调度、运维监控等实施工作。
    2. 数据标准实施:将设计阶段输出的数据标准配置到数据治理中心,关联到具体物理模型中的字段。
    3. 数据质量实施:配置数据质量检查规则,生产数据质量作业和质量报告。
    4. 数据指标实施:将技术指标计算规则配置到数据治理中心,关联报告层维度表和事实表,以可视化的形式生成集市层指标。
    5. 数据服务实施:基于数据服务设计方案,将技术指标封装成数据API,供应用侧消费。
  9. 数据应用集成设计与实施

    数据应用集成设计是指以数据可视、分析决策为主要目的的应用系统,同时也可与生产系统联动形成业务实时协同,主要包含以下几方面内容:

    1. 应用场景设计:基于业务需求设计面向最终业务人员的应用场景,输出故事线、页面原型等。
    2. 应用技术栈设计:基于应用架构设计内容,对技术栈进行技术选型和设计,典型的技术选型包括BI类数据可视化应用、低码类应用、微服务类全码应用等。
    3. 应用集成开发实施:,基于选定的技术栈,以应用场景设计为需求输入,通过工具集成、代码开发的方式发布数据应用。

服务流程

服务阶段

里程碑说明

启动阶段

  1. 组织项目开工会,组建项目团队。
  2. 与相关干系人沟通,明确项目目标与验收标准,基线化文档。
  3. 制定项目组织架构与运作机制。
  4. 制定SOW与项目计划。

方案阶段

  1. 获取业务需求,识别遗漏和不完整需求,定义需求类型。
  2. 通过原型、业务调研、差异分析、功能匹配等方法进行需求分析。
  3. 对需求已明确的新开发系统展开架构设计。目的是综合运用各种设计方法和手段,依据设计原则及质量安全设计确定产品应用架构、技术架构、数据架构、集成架构、物理部署架构,合理分配被开发系统的内外部需求到各子系统或模块。
  4. 在方案选择建议的基础上,采用选定的设计方法和技术,基于需求规格进行概要设计,其中必须包含数据模型设计,输出项目方案,必要时进行同行评审,经确认完成后基线并文档化。

实施阶段

  1. 在项目方案的基础上,实施工程师针对需求,采用选定的设计方法和技术及相关技术、安全等规范,进行详细设计。
  2. 实施工程师按照开发规范、安全规范编写代码及配套文档。
  3. 按定义的工作任务,对开发单元、软件包配置和构建实施单元测试,并完成缺陷记录和修复,达到质量要求后结束。
  4. 组织QC组,对代码及配套文档、实施指南、用户手册、运维手册进行同行评审。
  5. 根据项目计划制定项目测试计划,包括测试方案、时间计划、测试轮次等,输出项目测试计划。
  6. 依据需求规格、项目方案,必要时参考产品架构设计,设计集成验证场景与用例。

验证阶段

  1. 组织用户及相关参与人员对平台、数据进行验证,确认平台、数据是否符合业务要求。
  2. 登记并验证缺陷修复情况。
  3. 输出验证测试报告。

试运行阶段

  1. 组织制定试运行计划,并于业务相关方沟通确认。
  2. 组织试运行。
  3. 编制试运行报告。

关闭阶段

  1. 试运行结束后创建项目满意度调查问卷,项目经理收集调查名单后组织完成满意度调查。
  2. 项目经理负责按照项目总结报告模板要求完成项目总结报告编制。
  3. 项目经理召集项目关闭会议,将项目数据、文档等归档,并释放资源,如涉及资源采购,则此活动完成人员退场;对于涉及区域的项目,区域IT代表负责项目经验共享,收集项目文档及总结报告并在区域内共享。
  4. 根据项目相关活动及交付情况,进行完成情况审视。
  5. 发布项目关闭信息。

服务交付件

服务名称

交付件

需求调研

《需求分析报告》

资产目录设计

  1. 《数据资产目录》(L1-L5)Excel
  2. 《数据标准》Excel
  3. 《业务指标设计》Excel
  4. 《数据Mapping表》Excel
  5. 《逻辑模型设计》(含逻辑模型ER图)

业务指标设计

数据湖设计与实施

《数据治理实施方案HLD》

《IT系统数据调研表》

《华为云服务配置说明书》

数据集成调研

数据集成设计

数据集成实施

数据建模设计

《数据治理实施方案HLD》

数据标准设计

数据质量设计

数据指标设计

数据服务设计

《数据治理实施方案HLD》

(包含数据治理设计)

数据建模实施

《数据治理实施指南》

《开发规范》

《ETL脚本或代码》

《用户指导书》

《运维指导书》

数据标准实施

数据质量实施

数据指标实施

数据服务实施

数据应用集成实施

《数据治理实施方案HLD》

(包含应用场景设计)

《验收用例》

《验收报告》

责任矩阵

  1. 共同责任
    1. 双方商定并确认具体的业务需求及目标。
    2. 双方商定并确认项目管理计划。
    3. 双方商定并确认方案内容并评审。
    4. 完成合同签订。
  2. 华为责任
    1. 华为云需明确此项目数据治理实施服务的负责人,因特殊情况华为云人员变更,需要提前3个工作日知会客户,直至项目最终验收完成。
    2. 双方按照商定的服务范围和服务内容完成本服务实施。
    3. 得到客户相关授权后方可操作华为云账户,操作仅限于本服务实施所需,华为云不得做与本服务无关的其他操作。
  3. 客户责任

    客户指派一位项目负责人协助华为云顺利执行实施服务。此负责人应负责调研协助、第三方资源协调、授权管理、本服务验收等双方之间协调及管理事宜。

    1. 必须提供相关源业务系统相关的信息(包括但不限于调研表需求信息等)。
    2. 源系统如使用第三方软件,在本服务实施的过程中,如牵涉到第三方支持,客户须负责与第三方厂商交涉,协助华为云解决问题。
    3. 授权华为团队与数据治理实施相关的操作权限。
  4. 责任分工矩阵表

    以下为职责描述案例,可酌情修改。

    R=责任方Responsibility

    S=协助方/Support

    序号

    业务流程

    工作内容

    华为

    客户

    1

    项目开工

    组织开工会、制定项目计划

    R

    S

    2

    需求分析

    完成需求调研、数据调研等

    R

    S

    3

    方案设计

    完成信息架构设计、数据集成设计、数据架构设计、数据治理设计等

    R

    S

    4

    资源部署

    完成华为云的资源部署

    R

    S

    5

    实施开发

    完成数据集成的实施、数据治理实施、数据应用集成实施等

    R

    S

    6

    验收测试

    完成验收测试方案和用例设计,

    并在数据平台上进行验收,包含功能验证与性能验证

    S

    R

验收标准

  • 验收内容

    客户根据华为侧提供的服务交付件,核对服务内容的真实性,待双方确认无误后,客户签署服务验收报告。

  • 验收流程
    1. 乙方负责输出项目交付件并自检,合格后提交验收申请。
    2. 甲方对交付件进行评审,评审通过后在交付件上签字。如评审有问题,乙方根据评审意见进行整改,重新提交验收申请。
    3. 乙方收到评审意见后,应5个工作日内完成对交付件的修改,并提交修改后的交付件给甲方验收。
    4. 甲方在收到已方提交的交付件后,应在5个工作日内反馈意见给已方,以上过程不应超过3次。如果乙方在交付件提交给甲方后的5个工作日内尚未收到甲方的书面反馈意见,则该轮提交的交付件将被视为已被甲方接受并作为最终版本验收通过。
  • 项目完成标志

    验收通过,客户已在验收报告上签名盖章,数据要素集成与实施服务工作结束。