产品介绍
服务概述
随着企业数据量的持续增长以及对数据重视程度越来越高,越来越多企业需要建设或重构数据仓库平台。在满足数据安全的情况下,为了降低建设和运维成本,大部分企业选择在云上建设数仓。通常数仓平台,数据量在T/P级别,数量规模较大,库、表之间关系复杂。同时迁移涉及面较广,涉及多平台、多组件、多厂家等联合协作问题。而传统企业缺乏数仓转型专业人员,也无搬迁上云经验,故企业上云、架构升级及数仓搬迁困难重重。华为云GaussDB(DWS)推出数据仓库上云与实施服务,提供专业的数仓搬迁团队和一站式可配置的搬迁工具,协助客户平滑、高效、稳定的实现数仓搬迁。
服务内容
- 数据仓库平台设计与实施服务
L6服务名称
服务内容
适用场景
数据仓库规划设计与实施服务-基础版(128vCPU以内)
客户现有业务调研,数仓方案设计与规划,云服务开通。
计算资源128vCPU以内
数据仓库规划设计与实施服务-增量包(128vCPU以上)
客户现有业务调研,数仓方案设计与规划,云服务开通。
计算资源128vCPU以上
- 数据仓库迁移支持服务
L6服务名称
服务内容
适用场景
数据仓库迁移支持服务-基础包(同构)(10TB以内)
迁移调研、迁移设计与规划、数据/业务迁移,交付实施到验收保障。
同构迁移,数据量10TB以内
数据仓库迁移支持服务-增量包(同构)(每TB)
迁移调研、迁移设计与规划、数据/业务迁移,交付实施到验收保障。
同构迁移,按每TB一个增量包
前提条件
- 客户需要提前申请专业服务,以便评估客户业务目标和服务时间计划性。
- 为客户提供专业服务时,获得客户入场调研、人员配合、材料输入授权才能履行服务内容。
服务范围
- 服务覆盖范围
- 数据仓库上云与实施服务从服务内容维度主要覆盖以下两类:
- 数据仓库上云与实施服务从服务场景维度主要覆盖以下三类:
- 线下IDC数仓迁移上云
将客户业务和数据一次性搬迁到云上数据仓库,并基于云上环境快速构建云下系统,满足客户未来业务快速增长需求。主要搬迁对象有:
商用产品:Oracle、Teradata、Gbase、HANA
开源:Greenplum、Starrocks、Doris
- 云服务友商搬迁
提供一站式迁移平台,将云服务友商上的业务和数据不停服、平滑迁移至华为云数据仓库平台。包括:
阿里云:AnalyticDB MySQL版、AnalyticDB PostgreSQL版、实时数仓Hologres
腾讯云:TCHouse-P、TCHouse-C、TCHouse-D
亚马逊云:Redshift
Google:Bigquery
- 新建数据平台
- 数字化转型、数据治理项目,需要规划数据仓库分析平台相关内容。
- 新建局点,拟采购华为数据仓库的情景。
- 原来老平台无法满足业务需求,拟采购华为数据仓库的情景。
- 由于业务和数据需求越来越大导致华为数据仓库需要扩容情景。
- 线下IDC数仓迁移上云
- 服务不覆盖范围
华为开发支持工程师只负责本工作说明书所载明的服务,提供不在服务范围内的服务需要额外付费。不在服务范围内的服务包括但不限于如下所示内容:
- 离开常驻工作地前往其它城市进行相关工作(注:可能涉及费用包含但不限于差旅费、住宿费、附加通讯费等)。
- 应客户要求超出正常工作日和工作时间的相关工作(注:涉及加班工资和补助)。
- 外购件产品。
服务流程
- 数据仓库平台设计与实施服务
业务流程
工作内容
需求调研
调研数据应用、客户场景、数据源、数据量以及数据格式、实时或离线、数据治理需求等。
方案设计
云服务选型、计算/存储选型、集群划分、方案设计、数据流设计。
云服务开通
云服务开通部署、计算存储配置、组件部署、数据链接配置,协助网络打通、资源开通。
- 数据仓库迁移支持服务
业务流程
工作内容
迁移调研与方案设计
调研现有业务系统架构图、业务数据流、数仓集群拓扑配置、上云诉求及当前痛点;整体方案设计、迁移前业务及数据的梳理和分析、确定数据迁移的范围、割接方案设计、并完成方案评审。
存量数据迁移
计算迁移时间、搭建专线,将源端数据批量迁移至GaussDB(DWS)平台。
增量数据迁移
将源数据库中新增、更新或删除的数据实时同步到目标数据库中。
业务迁移
作业搬迁、业务对接(平滑上云/DataArts)、用户/权限搬迁,在现网中进行权限配置。
数据一致性校验
确认校验比对范围,运行数据校验工具。
任务验证与适配
割接演练/双写验证;业务对接完成,业务系统功能验证。
双跑及割接
业务系统割接、上线保障。
服务交付件
- 数据仓库平台设计与实施服务
序号
服务活动
交付件
1
项目需求调研
《xx客户数仓需求调研表_公有云》
《xx客户数据仓库服务开通列表》
《xx客户数仓咨询报告模板》
《xx客户数仓方案设计》
2
平台方案
3
云服务开通
- 数据仓库迁移支持服务
序号
服务活动
交付件
1
业务调研
《xx客户数仓需求调研表_公有云》
《xx客户数据仓库服务开通列表》
《xx客户数仓咨询报告模板》
《xx客户数仓方案设计》
《xx客户数仓迁移业务调研表_公有云》
《xx项目DWS交付Checklist》
《xx项目DWS迁移工作计划》
《xx项目DWS集群重保巡检checklist》
《xx项目DWS割接Runbook》
《xx DWS迁移项目-迁移割接方案》
2
迁移方案设计
3
环境搭建&配置
4
数据业务搬迁
性能、稳定性测试
5
业务验证
割接上线
责任矩阵
- 共同责任
- 双方商定并确认具体的业务需求及目标。
- 双方商定并确认项目管理计划。
- 双方商定并确认方案内容并评审。
- 完成合同签订。
- 华为责任
- 华为云需明确此次项目的负责人,因特殊情况导致华为人员变更,需要提前3个工作日知会客户,直至项目最终验收完成。
- 华为云得到客户授权后,授权数据仅限用于数据仓库上云与实施服务中涉及的服务内容,不得超出限定范围。
- 客户责任
- 客户指派一位项目负责人协助华为云实施服务。此负责人应负责双方之协调及管理,负责审核、验收华为云提供的服务。
- 客户必须提供业务系统相关的信息(包括但不限于应用架构、部署架构、资源数量和性能)。
- 责任分工矩阵表
R=责任方/Responsibility;S=协助方/Support。
- 数据仓库平台设计与实施服务
序号
服务流程
工作内容
华为
客户
1
项目启动
项目团队组建
R
S
项目内容宣贯讲解
R
S
2
项目调研
制定调研计划
R
S
调研工作开展
S
R
现状评估
R
S
输出现状诊断报告
R
S
现状诊断报告阶段性验收
S
R
3
方案设计
目标数仓平台业务和高可用性架构设计
R
S
输出设计方案
R
S
设计方案阶段性验收
S
R
4
迁移方案验证
验证环境搭建
R
S
迁移工具、方法验证
R
S
5
项目验收
对整体项目进行验收,签署验收报告并盖章
S
R
- 数据仓库迁移支持服务
序号
服务流程
工作内容
华为
客户
1
迁移调研
调研客户的数仓平台情况,第三方工具和网络环境
R
S
2
方案设计
制定迁移的总体方案并开测试集群验证
R
S
3
DWS安装部署
准备好网络环境并安装部署DWS
R
S
4
工具适配&部署
准备数据迁移工具和对数工具
R
S
5
迁移脚本开发
识别语法差异点,改造DDL语句和业务SQL
R
S
6
元数据/作业迁移
迁移元数据,初始化DWS数据库。部署调度作业并跑通数据迁移流
R
S
7
数据迁移
存量数据迁移
R
S
增量数据迁移
R
S
业务数据迁移
R
S
8
业务验证
数据一致性校验
R
S
任务验证与适配
S
R
9
性能调优
压测业务SQL,识别性能瓶颈并优化
R
S
10
并行与切换
双跑验证和数据比对
R
S
11
验收与移交
项目割接验收
S
R
- 数据仓库平台设计与实施服务
验收标准
- 支持的验收方式:线上验收/线下验收。
- 验收标准:华为按各服务子项提交标准交付件,客户在华为云官网Console单击“确认”验收,或线下签字且盖章《数据仓库上云与实施服务验收报告》作为服务验收通过依据。
- 对交付件的验收应着重于对文档实质内容的验收,凡交付件实质内容符合本工作说明书约定的,应予通过验收和接受。少量格式、词汇、修饰等方面的不符不应被作为不验收的理由,但华为应就格式、词汇、修饰等方面的不符处按要求在合理的时间内进行修改。
- 在项目进程中,所有交付件都将经过日常讨论和评审,以保证双方对文档内容的认识一致并缩短交付件的验收时间。客户将对华为提出的意见或要求及时提供其建议及批准。根据项目的实际情况,部分或所有交付件在验收签署之前将经过项目组评审、业务部门评审、并向领导组汇报。客户将负责在合同约定的验收时点前推动(包括组织和安排顾问资源)并及时完成所有内部评审和汇报。
- 华为将根据上述评审和汇报的反馈意见,在5个工作日内完成对交付件的修改,并提交交付件最终版本的验收稿给客户验收。
- 客户在接收到提交的交付件最终版本的验收稿后,将在5个工作日内反馈;华为在收到客户反馈意见后,应在5个工作日内提交修改后的交付件给客户再次验收,以上过程不应超过2次(即提交次数不多于3次)。交付件的验收工作应在双方配合下在15个工作日内完成(即从客户接收到提交的交付件最终版本的验收稿后15个工作日)。届时,客户应验收签署提交的项目交付件。在每一轮评审过程中,如果在交付件提交给客户后的5个工作日内尚未收到客户的书面反馈意见,则该轮提交的交付件将被视为已被客户接受并作为最终版本验收通过。
- 如果因非华为原因导致完成交付件审核和批准需要更多的时间,项目组将依据按本工作说明书定义的变更控制流程签订的变更申请延展团队工作时间并获得相应付款。
- 如在15个工作日内提交交付件最终版本的验收稿3次之后双方仍未完成交付件的验收工作,双方应评估此对后续工作(如有)的影响,并协商如何完成交付件的后续修改和验收工作。
- 在交付件验收签署后,如果要求对任何交付件的内容作增减,将对该增减所带来的工作复杂性及风险性进行评估(如对服务费用、时间计划和资源配备等的影响),包括由此带来项目费用及时间计划的更改,在得到双方的同意后予以执行。
- 里程碑相关的交付件按照本章节定义的流程完成验收后,将由负责人授权签署里程碑验收报告。华为职责范围外的工作完成情况不应影响里程碑的完成和验收。