# 数据治理服务 #### 服务概述 - **结构化数据治理** 以华为数据之道方法论作为基础，面向客户提供入湖、治湖、用湖的端到端数据治理专业服务，为解决客户内部的数据质量差、数据孤岛、数据价值难以挖掘等相关数据问题，提供了系统性的解决方案，帮助客户以数据驱动业务，助力数字化转型。 - **数据工程** 围绕大模型训练与场景落地需求，为客户提供数据工程专业服务，覆盖数据获取、加工、标注、评估、发布等全流程环节，确保数据资源高效、准确地支撑模型训练。通过端到端的数据工程能力，帮助客户实现数据的规范化管理与高效处理，持续提升数据质量与处理效率，最终为客户交付高质量数据集，助力客户快速完成场景落地。 - **知识工程** 在客户构建知识库的业务场景中，华为云推出知识工程服务解决方案，提供从知识库方案设计、文档数据处理、知识库构建到知识库检索效果优化的端到端能力，助力客户破解业务难题、加速业务落地、提升业务效率。 #### 服务范围 - **结构化数据治理** 1. 服务覆盖范围 覆盖企业数字化转型规划、数据与业务融合的设计、数据指导业务的设计、数据治理规划设计与实施、数据平台设计与实施、数据应用设计与实施以及解决企业内任何与数据价值挖掘、数据管理相关的业务诉求与痛点的场景。 2. 服务不覆盖范围 在提供专业服务时按照合同约定的内容进行服务，超出范围的、不符合当地法律规定无法提供服务。 3. 服务区域 中国区、海外（包括中东、北非、亚太等）。 - **数据工程** 1. 服务覆盖范围 本服务面向数据工程专业服务场景，提供从数据采集、架构规划、数据加工、数据标注到数据集打样与评估的全流程服务，具体涵盖： 1. 非结构化数据采集：文档归集，图片、视频数据采集。 2. 数据工程架构规划与方案设计： 针对文本、图片、视频，调研分析业务与数据需求，完成数据集构建方案、数据采集方案及数据加工实施方案设计。 3. 多模态数据加工： 提供数据加工、数据标注、数据合成、数据评估等能力，形成符合训练要求的高质量数据集。 4. 数据集打样： 选定文本、图片或视频场景，完成从采集、加工、合成、标注、评估到发布的端到端打样，并对客户进行培训。 2. 服务不覆盖范围 1. 客户侧业务应用系统的开发与集成。 2. 数据采集所需的硬件设备及网络环境搭建。 3. 第三方软件、工具或平台的采购与授权。 4. 客户自有数据的合规性审查及版权授权。 5. 超出约定服务规格范围的定制化开发需求。 3. 服务区域 中国区。 - **知识工程** 1. 服务覆盖范围 本服务提供从需求调研到最终验收交付的全流程知识工程实施，涵盖知识库方案设计、文档数据处理、知识库构建、检索效果优化及验收交付等环节，助力客户高效完成知识库建设与业务落地。 2. 服务不覆盖范围 1. 不负责客户对于召回率、准确率等指标要求的承诺。 2. 不负责大模型/智能体相关开发运维。 3. 不负责数据治理等相关服务内容。 4. 不负责客户上层业务应用系统的开发工作。 5. 不负责客户业务侧等知识类工作，例如客户业务流程重构、制度编写、非结构化数据治理等咨询类工作。 3. 服务区域 中国站/政务云。 #### 前提条件 - **结构化数据治理** 1. 客户应提前至少15个工作日申请激活该服务，以便评估客户业务目标和服务时间计划性。 2. 与客户达成一致的服务目标形成工作任务书，并通过官网下单或者签署合同才能履行相关服务内容。 - **数据工程** 1. 客户需提前明确数据集应用的具体业务场景。 2. 客户已具备与目标场景相关的数据基础条件。 3. 客户已完成必要数据平台的安装部署。 - **知识工程** 1. 客户需要提前至少30个工作日申请激活专业服务，以便华为评估客户业务目标和服务时间计划。 2. 客户配合人员有一定业务基础，熟悉现有环境。 #### 服务内容 - **结构化数据治理** | 服务规格 | 服务内容 | |:---|:---| | 数据应用设计与实施 | 数据应用的（如BI、自助分析平台、数据服务API等）方案设计与集成，大屏、低码类数据应用开发实施。 | | 数据平台设计与实施 | 数据基础设施平台集成方案设计，数据集成方案设计，安全方案设计、集成架构设计、网络架构设计、部署架构设计、安全架构设计、技术平台开通部署，账号权限参数配置等。 | | 数据湖治理方案设计 | 面向离线指标、实时指标相关的数据架构、资产目录L4-L5、数据模型、数据质量、数据服务的方案设计。 支持100个指标（含原子指标、衍生指标、复合指标），或者 1个主题库。 | | 数据湖治理方案实施 | 面向离线指标、实时指标相关的数据架构、资产目录L4-L5、数据标准、数据模型、数据质量、数据服务的方案实施。 支持100个指标，或者 1个主题库。 | | 信息架构设计 | 数据现状调研，探源分析，数据资产目录设计、数据标准设计、数据模型设计。 | | 技术架构设计 | 系统调研，数据平台技术架构设计，含集成架构、网络架构、部署架构、安全架构。 | | 业务架构设计 | 业务现状调研，梳理企业的业务流、价值流，识别关键业务场景，设计运营运营指标。 | | 应用架构设计 | 面向数据分析的应用架构规划和技术栈方案设计。 | - **数据工程** | 服务规格 | 服务内容 | |:---|:---| | 非结构化数据采集服务 | PDF/WORD/TXT文档归集；图片、视频数据采集。 | | 数据工程架构规划与方案设计服务 | 针对文本、图片、视频，基于实际业务场景，调研分析业务需求和数据需求；根据业务需求和数据调研情况，针对数据集构建方案（数据集格式、结构、数量等），数据采集方案（数据采集、导入、本地存储文件对接上传），数据加工实施方案（数据加工处理管线端到端设计）完成设计。 | | 多模态数据加工服务 | 数据加工： 1. 将原始数据资源进行处理和加工，对非结构化数据（文本、图片、视频等）的解析提取、降噪去噪、过滤筛选、格式转换、内容增强、数据脱敏、数据合成等，满足后续数据标注和使用的要求。 2. 通过数据加工的算子进行数据加工，针对不同的数据加工场景，支持用户自定义数据加工pipeline。 数据标注：面向不同场景，根据服务范围对加工后的文本、视频、图片进行标注。 文本：支持QA对智能辅助标注、人工标注及标注审核，在智能辅助标注的基础上，人工参考辅助标注优化。 视频：视频支持视频caption人工标注及标注审核。 图片：支持图片caption智能辅助标注、人工标注及标注审核，在智能辅助标注的基础上进行人工标注。 数据合成： 支持通过数据合成进行SFT单轮问答、单轮问答带人设数据构造： 1. 根据场景，设计数据合成策略来补充SFT数据。 2. 支持通过自定义指令的定制，构造特定场景的问答类数据。 数据配比：支持将多个数据集按照特定比例组合为一个加工数据集，通过合理配比，可以确保数据集的多样性、平衡性和代表性。 数据评估： 1. 支持预训练文本、单轮QA对、多轮QA对等数据内容评估任务，保障数据集质量。根据预设的评估标准以及评估任务，进行预训练文本、单轮QA对、多轮QA对、视频caption等各类型数据集评估。 2. 针对不同场景设计数据集的质量评估标准，对加工标注后的数据集进行评估，从数据质量、安全合规等方面评估数据集质量，并进行质量优化和修复，形成符合训练要求的高质量数据集。 | | 数据集打样服务 | 选定某一类数据场景（文本、图片、视频），完成从数据采集-数据加工-数据合成-数据标注-数据评估-数据发布整个端到端流程的打样，并对客户进行培训。 | - **知识工程** | 服务规格 | 服务内容 | |:---|:---| | 知识工程方案设计-每次 | 包括知识库方案设计、文档数据处理、知识库构建、知识库效果检索优化等服务内容。 | #### 服务流程 - **结构化数据治理** | 服务阶段 | 工作内容 | |:---|:---| | 启动阶段 | 组织项目开工会，组建项目团队；与相关干系人沟通，明确项目目标与验收标准，基线化文档；制定项目组织架构与运作机制。 | | 调研分析阶段 | 对项目交付范围内的客户的业务现状、应用现状、数据现状几个方面开展调研，了解相关现状与痛点问题编制现状调研报告。 | | 架构设计阶段 | 基于项目交付的目标与范围，同时结合现状调研报告，开展蓝图规划、业务架构、应用架构、信息架构、技术架构等详细设计工作。 | | 方案实施阶段 | 完成相关的环境资源开通或部署。 开展实施开发落地的工作，包含开发规范设计、环境集成与验证、数据开发、数据应用开发以及对应的测试验证等。 | | 试运行阶段 | 组织制定上线试运行计划并开展相关上线试运行活动，为后续正式上线运行做准备。 | | 上线验收阶段 | 开展与客户的上线交付验收工作、知识转移、运维保障交接等工作，同时，内部完成项目复盘总结、资产收割等。 | | 运维运营（可选） | 基于项目范围与责任边界，对数据平台开展相关的运维与运营工作。 | - **数据工程** | 服务阶段 | 工作内容 | |:---|:---| | 调研与评估 | 根据客户业务需求进行场景需求调研，梳理该场景的业务现状，明确客户需求以及数据集具体使用场景，梳理原始数据集的类型、质量、客户需求、数据集使用场景、数据集的规模等，完成构建数据集场景方案设计。 | | 方案设计 | 数据需求、数据现状调研，非结构化数据治理方案设计。包含数据收集方案、数据质量要求、数据清洗方案、数据标注方案、数据量、场景化提示词标准设计、评测集设计等。 | | 数据获取 | 通过可靠、高效的工程化手段，将分散在各处的原始数据，精准地汇入统一的数据存储库，并完成入库前的前置校验。手工归集客户的文本、视频、图片数据，并导入至OBS。 | | 数据加工 | 通过数据加工的算子进行数据加工，针对不同的数据加工场景，支持用户自定义数据加工pipeline。包括数据提取、数据过滤、数据转化、自定义算子开发等。 | | 数据合成 | 支持通过数据合成进行SFT单轮问答、单轮问答带人设数据构造。根据场景，设计数据合成策略来补充SFT数据。支持通过自定义指令的定制，构造特定场景的问答类数据。 | | 数据标注 | 根据服务范围完成文本、视频、图片标注。文本：支持QA对智能辅助标注、人工标注及标注审核；视频：支持视频caption人工标注及标注审核；图片：支持图片caption智能辅助标注、人工标注及标注审核。 | | 数据评估 | 支持预训练文本、单轮QA对、多轮QA对等9+数据内容评估任务，保障数据集质量。根据预设评估标准以及评估任务，进行各类型数据集评估。 | | 数据发布 | 完成加工数据集的发布上线。建立标准化发布流程，将高质量数据集整合为易用性强、可追溯的模型训练资源。 | | 服务打样与培训 | 选定某一类数据模态，完成从数据导入-数据加工-数据合成-数据标注-数据评估-数据发布整个端到端流程的打样，并对客户进行培训。 | - **知识工程** | 服务阶段 | 工作内容 | |:---|:---| | 需求调研 | 客户部门组织架构、业务、知识文档类型、大小、数量、来源等相关信息调研。 | | 方案设计 | 场景知识清洗治理方案设计。 | | 方案设计 | 设计知识库构建方案（包括知识获取、知识库构建、词库设计、打标方案等）。 | | 知识库构建实施 | 数据清洗加工，包含数据获取、格式转换、数据清洗、拆分等。 | | 知识库构建实施 | 打标方案实施。 | | 知识库构建实施 | 专业词库、同义词库创建实施。 | | 知识库构建实施 | 知识库创建。 | | 知识库构建实施 | 将文档等知识数据上传到创建的知识库。 | | 检索优化 | 构建评测数据集。 | | 检索优化 | 进行搜索或者问答效果评测。 | | 检索优化 | 效果检索优化：使用知识数据检索优化、搜索/问答检索优化、提示词优化和FAQ优化等方式进行优化。 | | 验收测试 | 验证知识库可用性。 | | 验收测试 | 验证知识库检索优化效果。 | | 验收测试 | 汇总相关文档并移交客户，输出验收报告，与客户确认验收结果。 | #### 服务交付件 - **结构化数据治理** | 服务规格 | 交付件 | |:---|:---| | 数据应用设计与实施 | 《XXX项目指标场景设计方案》、《XXX项目驾驶舱设计方案.ppt》、《XXX项目UE低保真设计》、《XXX项目UI高保真设计》、《XXX项目数据服务设计方案》、《XXX项目数据服务接口清单》 | | 数据平台设计与实施 | 《数据平台技术架构方案》、《数据集成方案设计》、《数据集成方案》、《租户权限方案设计》 | | 数据湖治理方案设计 | 《数据资产目录》、《数据入湖清单》、《数据标准》、《逻辑模型设计》、《数据Mapping表》、《业务指标清单》、《数据质量规则清单》、《项目数据服务接口清单》、《ETL脚本》、《测试报告》 | | 数据湖治理方案实施 | 《数据资产目录》、《数据入湖清单》、《数据标准》、《逻辑模型设计》、《数据Mapping表》、《业务指标清单》、《数据质量规则清单》、《项目数据服务接口清单》、《ETL脚本》、《测试报告》 | | 信息架构设计 | 《数据资产目录》、《数据入湖清单》、《数据标准》、《逻辑模型设计》、《数据Mapping表》 | | 技术架构设计 | 《数据治理实施方案》 | | 业务架构设计 | 《业务指标清单》 | | 应用架构设计 | 《需求说明规格书》、《应用高保真图》、《项目数据服务接口清单》 | - **数据工程** | 服务规格 | 交付件 | |:---|:---| | 非结构化数据采集 | 《采集文件清单》 | | 数据工程架构规划与方案设计服务 | 《场景调研报告》、《数据集构建方案》、《数据集加工实施方案》 | | 多模态数据加工服务 | 《数据标注规范》、《质量评估标准》、《质量评估报告》、《发布数据集》 | | 数据集打样服务 | 《打样指导手册》、《打样数据集》 | - **知识工程** | 服务规格 | 交付件 | |:---|:---| | 知识工程方案设计 | 《调研报告》、《知识工程设计方案》、《知识清洗方案》、《知识分层分类打标方案》、《知识入库切分向量化方案》、《词库定义及入库标准》、《召回策略设计方案》 | | 知识工程方案实施 | 《知识工程实施交付指导书》、《知识工程验收报告》 | #### 责任矩阵 - **结构化数据治理** R是Responsibility主导负责，S是Support配合支持。 | 服务内容 | 工作说明 | 华为 | 客户 | |:---|:---|:---|:---| | 启动阶段 | 1. 组织项目开工会，组建项目团队。 2. 与相关干系人沟通，明确项目目标与验收标准，基线化文档。 3. 制定项目组织架构与运作机制。 | R | S | | 调研分析阶段 | 对项目交付范围内的客户的业务现状、应用现状、数据现状几个方面开展调研，了解相关现状与痛点问题编制现状调研报告。 | R | S | | 架构设计阶段 | 基于项目交付的目标与范围，同时结合现状调研报告，开展蓝图规划、业务架构、应用架构、信息架构、技术架构等详细设计工作。 | R | S | | 方案实施阶段 | 1. 完成相关的环境资源开通或部署。 2. 开展实施开发落地的工作，包含开发规范设计、环境集成与验证、数据开发、数据应用开发以及对应的测试验证等。 | R | S | | 试运行阶段 | 组织制定上线试运行计划并开展相关上线试运行活动，为后续正式上线运行做准备。 | R | S | | 上线验收阶段 | 开展与客户的上线交付验收工作、知识转移、运维保障交接等工作，同时，内部完成项目复盘总结、资产收割等。 | S | R | - **数据工程** R是Responsibility主导负责，S是Support配合支持。 | 服务内容 | 服务说明 | 华为 | 客户 | |:---|:---|:---|:---| | 服务内容对齐 | 就服务目标、范围、里程碑节点、交付方式等与客户对齐。 | S | R | | 实施方案制定 | 组建甲乙方共同参与的实施团队，并明确职责，制定实施方案和计划，明确各里程碑节点及实施保障机制等。 | R | S | | 方案设计 | 数据需求、数据现状调研，非结构化数据工程方案设计。 | R | S | | 数据加工 | 通过数据加工的算子进行数据加工，针对不同的数据加工场景，支持用户自定义数据加工pipeline。 | R | S | | 数据合成 | 支持通过数据合成进行SFT单轮问答、单轮问答带人设数据构造。 | R | S | | 数据标注 | 根据服务范围完成文本、视频、图片标注。 | R | S | | 数据评估 | 支持预训练文本、单轮QA对、多轮QA对等9+数据内容评估任务，保障数据集质量。 | R | S | | 数据发布 | 完成加工数据集的发布上线。 | R | S | | 服务验证测试 | 客户根据测试用例进行服务方案连通性测试。 | S | R | | 成果移交 | 服务交付件交接。 | S | R | | 服务验收 | 客户服务验收。 | S | R | - **知识工程** R是Responsibility主导负责，S是Support配合支持。 | 服务内容 | 服务说明 | 华为 | 客户 | |:---|:---|:---|:---| | 需求调研 | 客户部门组织架构、业务、知识文档类型、大小、数量、来源等相关信息调研。 | R | S | | 方案设计 | 场景知识清洗治理方案设计。 | R | S | | 方案设计 | 设计知识库构建方案（包括知识获取、知识库构建、词库设计、打标方案等）。 | R | S | | 知识库构建实施 | 数据清洗加工，包含数据获取、格式转换、数据清洗、拆分等。 | R | S | | 知识库构建实施 | 打标方案实施。 | R | S | | 知识库构建实施 | 专业词库、同义词库创建实施。 | R | S | | 知识库构建实施 | 知识库创建。 | R | S | | 知识库构建实施 | 将文档等知识数据上传到创建的知识库。 | R | S | | 检索优化 | 构建评测数据集。 | R | S | | 检索优化 | 进行搜索或者问答效果评测。 | S | R | | 检索优化 | 效果检索优化：使用知识数据检索优化、搜索/问答检索优化、提示词优化和FAQ优化等方式进行优化。 | S | R | | 验收测试 | 验证知识库可用性。 | R | S | | 验收测试 | 验证知识库检索优化效果。 | S | R | | 验收测试 | 汇总相关文档并移交客户，输出验收报告，与客户确认验收结果。 | R | S | #### 验收标准 - **结构化数据治理** | 服务项 | 验收标准 | |:---|:---| | 结构化数据治理 | **验收方式：**客户根据华为提供的服务交付件，核对服务内容的真实性，双方确认无误后发起服务验收流程，支持线下验收和线上验收两种方式。 **线下验收流程：** 1. 甲方对交付件进行评审，评审通过后在验收文档上签字；若评审有问题，乙方根据评审意见进行整改，重新提交验收申请。 2. 乙方收到评审意见后，应在5个工作日内完成对交付件的修改，并提交修改后的交付件给甲方验收。 3. 甲方在收到乙方提交的交付件后，应在5个工作日内反馈意见给乙方，以上过程不应超过3次。若乙方在交付件提交给甲方后的5个工作日内尚未收到甲方的书面反馈意见，则该轮提交的交付件将被视为已被甲方接受并作为最终版本验收通过。 4. 项目完成标志：验收通过，客户已在验收报告上签名盖章，数据管理使能服务工作结束。 **线上验收流程：** 1. 乙方发起线上验收申请，甲方对交付件进行评审；若评审有问题，乙方根据评审意见进行整改，重新提交验收申请，评审通过后在华为云官网专业服务工单中确认验收通过。 2. 乙方收到评审意见后，应在5个工作日内完成对交付件的修改，并提交修改后的交付件给甲方验收。 3. 甲方在收到乙方提交的交付件后，应在5个工作日内反馈意见给乙方，以上过程不应超过3次。若乙方在交付件提交给甲方后的5个工作日内尚未收到甲方的书面反馈意见，则该轮提交的交付件将被视为已被甲方接受并作为最终版本验收通过。 4. 项目完成标志：线上专业服务工单验收通过，数据管理使能服务工作结束。 | - **数据工程** | 服务项 | 验收标准 | |:---|:---| | 非结构化数据采集 | 1. 交付件齐全：《采集文件清单》，经客户签字确认，并输出《服务验收报告》。 2. 采集数据量达到合同约定数量且来源覆盖全部约定渠道/站点。 | | 数据工程架构规划与方案设计服务 | 1. 交付件齐全：《场景调研报告》、《数据集构建方案》、《数据集加工实施方案》，经客户签字确认，并输出《服务验收报告》。 | | 多模态数据加工服务 | 1. 交付件齐全：《数据标注规范》、《质量评估标准》、《质量评估报告》、《发布数据集》，经客户签字确认，并输出《服务验收报告》。 2. 加工后数据集达到约定数据量要求，且符合《质量评估标准》的质量约定。 | | 数据集打样服务 | 1. 完成培训赋能并提供《打样指导手册》，以培训签到表和客户确认为准。 2. 交付件齐全：《打样数据集》、《培训PPT》，打样场景和业务范围已与客户对齐，经客户签字确认，并输出《服务验收报告》。 | - **知识工程** | 服务项 | 验收标准 | |:---|:---| | 知识工程设计与实施服务 | 1. 根据评测集进行验收测试，输出评测结果。 2. 如客户要求用自己的评测集，专业服务交付辅助支持客户输出自己的评测集，进行验收测试，输出评测结果。 3. 提供《HCS 知识库构建与调优服务验收报告》，完成服务验收及成果移交，华为和客户在报告上签字验收通过。 |