产品介绍
服务概述
此服务针对客户在已经购买MRS、DLI、CloudTable、DataArts等的前提下提供服务。
华为云大数据上云与实施服务提供:大数据上云迁移服务、大数据平台设计服务两大服务,全方位为客户解决大数据上云过程中遇到的迁移、设计难题。
大数据上云迁移服务为客户提供迁移调研、迁移方案设计、迁移实施、迁移验收专业服务。针对客户大数据平台上云的过程中存在业务停机、数据丢失、迁移周期紧张、运维成本高等问题提供解决方案。实现客户业务不中断、最终用户零感知。同时,在项目实施过程中,专业团队支撑客户快速稳定上云,有效降低时间成本,保障大数据平台迁移过程中的数据质量与一致性,为客户大数据迁移保驾护航。
大数据平台设计服务,基于MRS、DLI、CloudTable、DataArts等服务,充分调研客户的具体业务诉求,深挖客户的业务场景进行合理规划设计服务架构,输出满足当前和未来业务需求、高可靠、高性价比的大数据方案。
服务内容
- 大数据上云迁移服务
如果客户已有的IDC或在他云上部署的大数据平台,并且希望将该大数据平台迁移至华为云,客户可通过该服务获得华为云大数据平台上云与迁移的技术支持。
仅适用迁移上云场景,提供业务场景调研、大数据迁移方案设计、迁移实施指导、割接上线,帮助客户快速实现大数据平台的迁移和架构升级,提升数据变现效率。
服务规格
服务内容
适用场景
大数据迁移服务-基础版(20TB内)一次性
提供业务场景调研、大数据迁移方案设计、迁移实施、割接上线,帮助客户快速实现大数据平台的迁移
适用于迁移对象以历史数据(如数据表、文件等)
大数据迁移服务-增量包(每100张表) 一次性
超出“大数据迁移服务-基础版(20TB以内)一次性”部分,按照本条目收费
适用于迁移对象以数据表、文件、存储内容为主
大数据迁移服务-增量包(每TB) 一次性
超出“大数据迁移服务-基础版(20TB以内)一次性”部分,按照本条目收费
适用于迁移对象以数据表、文件、存储内容为主
大数据迁移服务-基础版(500个任务以内) 一次性
提供业务场景调研、大数据迁移方案设计、迁移实施、割接上线,帮助客户快速实现大数据平台的迁移
适用于迁移对象以作业任务(如ETL任务、调度任务等)
大数据迁移服务-增量包(每个任务) 一次性
超出“大数据迁移服务-基础版(500个任务以内)一次性”部分,按照本条目收费
适用于迁移对象以数据处理任务、调度作业、ETL流程为主
- 大数据平台设计服务
仅适用于客户自助式新建上云场景,华为侧仅提供方案设计,不提供实施,输出大数据平台建设设计方案。按照集群体量大小划分等级,初级版在480U内,中级版480-1000U,高级版在1000U以上。
服务规格
服务内容
适用场景
大数据平台设计服务-小规模
适用于客户自助新建上云场景,华为仅提供方案设计,不提供方案实施
适用于客户的计算资源CPU核数在480U以内
大数据平台设计服务-中规模
适用于客户的计算资源CPU核数在480-1000U之间
大数据平台设计服务-大规模
适用于客户的计算资源CPU核数在1000U以上
前提条件
- 客户已经在华为云购买MRS、DLI、CloudTable、DataArts等服务
- 服务实施期间需要客户一起配合讨论方案输出、人力匹配、实施计划的制定等关键措施
- 客户配合意愿度高,愿意投入人力
- 有一支专门的交付团队负责现场项目交付
- 双方商定确认方案内容,并完成合同签订
服务范围
服务流程
- 大数据上云迁移服务
图1 大数据上云迁移服务流程
- 项目调研,输出大数据架构图和迁移方案架构图。
- 迁移环境准备,包括购买MRS、DLI、DataArts、CDM、DRS及相关对等迁移华为云服务,搜集客户所有使用到的数据源相关信息并在CDM上进行配置。
- 使用CDM迁移数据至MRS或DLI,结合按照实际情况采用全量迁移和增量迁移。
- (可选)使用DRS同步作业元数据至华为云调度平台,并进行适配调整,保证所有作业可以被顺利调度和运行。
- 根据数据分层,将客户表分成ODS、DWD、DWS、核心表和BI报表,配合客户一起进行数据准确性校验。
- 整体双跑、配合客户完成割接。
- 大数据平台设计服务
在解决方案设计服务阶段中,大概可以分为需求调研、方案设计、云服务开通及服务验收,如下图:

- 需求调研:结合客户的业务目标及场景需求,确定项目涉及的业务范围;了解数据源、数据规模、数据增长速度等数据的组织形式;根据业务需求,明确数据使用场景和处理时效;并协助客户完成对基础环境设施的需求整理。
- 方案设计:根据调研需求分析结果进行方案初步设计,包括存储组件选型、计算组件及框架选型、数据导入方式设计、硬件满意度设计等几个部分。
- 云服务开通:根据平台设计方案输出待开通云服务清单,由客户主导进行开通部署。
服务交付件
- 大数据上云迁移服务
服务规格
交付件
大数据迁移服务-基础版(20TB内)一次性
01-【MRS/DLI业务调研】大数据迁移业务评估调研表V1.0.xlsx
01-【MRS/DLI迁移方案】大数据迁移设计模板V1.0.pptx
XXX大数据迁移项目-割接方案.pptx
历史数据迁移清单.xlsx
存量数据迁移核对报告.doc
增量数据迁移清单.xlsx
增量数据迁移核对报告.doc
XX项目割接runbook参考.xlsx
XXX大数据迁移项目-大数据上云迁移服务验收报告.doc
存量任务迁移清单.xlsx
任务迁移验证适配报告.doc
任务稳定性报告.doc
大数据迁移服务-增量包(每100张表) 一次性
大数据迁移服务-增量包(每TB)一次性
大数据迁移服务-基础版(500个任务以内)一次性
大数据迁移服务-增量包(每个任务)一次性
- 大数据平台设计服务
服务规格
交付件
大数据平台设计服务-小规模
《xxx客户大数据需求调研表》
《xxx客户大数据方案设计》
《xxx客户大数据云服务开通列表》
大数据平台设计服务-中规模
大数据平台设计服务-大规模
责任矩阵
- 共同责任
- 双方商定并确认具体的业务需求及目标。
- 双方商定并确认项目管理计划。
- 双方商定并确认方案内容并评审。
- 完成合同签订。
- 华为责任
- 华为云需明确此次项目的负责人,因特殊情况导致华为人员变更,需要提前3个工作日知会客户,直至项目最终验收完成。
- 华为云得到客户授权后,授权数据仅限用于稳定性提升服务中涉及的服务内容,不得超出限定范围。
- 客户责任
- 客户指派一位项目负责人协助华为云实施服务。此负责人应负责双方之协调及管理,负责审核、验收华为云提供的服务。
- 客户必须提供业务系统相关的信息(包括但不限于应用架构、部署架构、资源数量和性能)。
- 责任分工矩阵表
R=责任方/Responsibility;S=协助方/Support。
- 大数据上云迁移服务
序号
服务流程
工作内容
华为
客户
1
调研评估
业务现状调研
大数据架构图、业务数据流图
S
R
大数据平台资源配置、组件版本等信息
S
R
业务基本信息,例如:数据集成链路、数据源类型等
S
R
数据调研
数据集成源端、目标端组件等
S
R
数据规模,每日增量数据、副本数等
S
R
数据存储格式
S
R
2
方案设计
业务需求分析及验证
分析业务需求,并进行验证
R
S
整体迁移方案设计
整体的搬迁方案设计,目标端架构图设计等
R
S
详细迁移方案设计
组件级迁移方案设计、双跑及割接方案设计、回退方案设计等
R
S
迁移方案验证
对迁移方案进行测试验证
R
S
迁移策略及迁移时间规划
迁移批次设计、迁移时间窗规划、Runbook输出
R
S
3
迁移实施
数据迁移
元数据迁移
R
S
存量数据迁移
R
S
增量数据迁移
R
S
任务迁移
存量任务迁移
S
R
增量任务迁移
S
R
任务适配及调测
S
R
数据比对
历史数据比对
S
R
增量数据比对
S
R
业务验证
测试大数据平台基础功能
S
R
双跑及割接
割接指导书输出
R
S
割接演练
S
R
双跑验证
S
R
业务割接
S
R
4
迁移验收
项目验收
交付件整理及输出
R
S
项目验收汇报
R
S
重保
割接后保障
R
S
- 大数据平台设计服务
序号
服务流程
工作内容
华为
客户
1
调研需求分析
业务目标分析
理解业务目标需求
S
R
确定业务范围
S
R
识别业务问题or痛点
S
R
数据调研
理解数据源
S
R
数据规模,增长速度
S
R
数据存储格式及转换
S
R
数据组织形式
S
R
业务方案讨论
为大数据系统业务方案制定提供专业的经验及知识技能支撑;
S
R
2
方案设计
存储组件选型
根据大数据平台业务场景需求分析,选择合适的存储组件;
R
S
计算组件及框架选型
讨论并制定业务目标方案,选择合适的计算组件,如Spark、MapReduce、Flink等
R
S
数据导入方式
根据项目规模、业务数据量,选择合适的数据导入方式,平台组件导入或第三方ETL工具
R
S
资源满足度评估
对客户部署大数据平台的服务器资源信息评估,是否满足平台需求
R
S
数据流图
输出整体数据处理流图
R
S
3
云服务开通
待开通的大数据服务列表
华为提供待开通的大数据云服务清单,包括服务名称、组件名称、资源规格等
R
S
大数据服务开通
客户根据业务场景需求,对大数据服务进行开通,华为侧给出建议
S
R
大数据组件部署
对大数据服务提供组件部署选择、基础参数配置、空间配置
S
R
数据连接创建
创建数据集成、数据开发、跨源分析等数据连接
S
R
平台基础功能测试
测试大数据平台基础功能
S
R
平台部署实施报告
根据调研和客户业务场景,对大数据平台整体部署实施配置输出操作报告
S
R
平台部署验收
根据业务场景大数据平台的需求,设定验收标准,为实施验收做准备
S
R
- 大数据上云迁移服务
验收标准
- 大数据上云迁移服务
华为按各服务子项提交标准交付件,客户在华为云官网Console点击确认验收,或线下签字且盖章《大数据上云迁移服务验收报告》作为服务验收通过依据。
- 大数据平台设计服务
华为按各服务子项提交标准交付件,客户在华为云官网Console点击确认验收,或线下签字且盖章《大数据平台设计服务验收报告》作为服务验收通过依据。