更新时间:2024-03-29 GMT+08:00
分享

方案概述

应用场景

该方案基于对象存储服务 OBS和MapReduce服务 MRS,帮助用户在华为云上快速搭建大数据存算分离集群。MRS是一个在华为云上部署和管理Hadoop系统的服务,通过为MRS集群绑定弹性云服务 ECS委托方式访问OBS,实现用户使用MRS集群作数据计算处理,而数据存储在OBS服务中。大数据在人们的生活中无处不在,在IoT、电子商务、金融、制造、医疗、能源和政府部门等行业均可以使用华为云MRS服务进行大数据处理。

方案架构

该方案基于对象存储服务 OBS和MapReduce服务 MRS,帮助用户在华为云上快速搭建大数据存算分离集群。架构如下图所示:
图1 方案架构

该解决方案会部署如下资源:

方案优势

  • 计算存储分离

    MapReduce服务 MRS集群作数据计算处理,而数据存储在对象存储服务 OBS中。

  • 灵活弹性伸缩

    MapReduce服务 MRS资源灵活配比,可以选择多种计算和存储资源进行组合,按需自动弹性伸缩,大大降低上云成本。

  • 一键部署

    一键轻松部署,即可完成对象存储服务 OBS并行文件系统、具有访问OBS权限的ECS委托的部署。

约束与限制

  • 部署该解决方案之前,您需注册华为账号并开通华为云,完成实名认证,且账号不能处于欠费或冻结状态,如使用包周期部署确保余额充足。
  • 如果选用IAM委托权限部署资源,请确保使用的华为云账号有IAM的足够权限,具体请参考创建rf_admin_trust委托(可选);如果使用华为主账号或admin用户组下的IAM子账户可不选委托,将采用当前登录用户的权限进行部署。
分享:

    相关文档

    相关产品