方案概述
应用场景
该方案基于对象存储服务 OBS和MapReduce服务 MRS,帮助用户在华为云上快速搭建大数据存算分离集群。MRS是一个在华为云上部署和管理Hadoop系统的服务,通过为MRS集群绑定弹性云服务 ECS委托方式访问OBS,实现用户使用MRS集群作数据计算处理,而数据存储在OBS服务中。大数据在人们的生活中无处不在,在IoT、电子商务、金融、制造、医疗、能源和政府部门等行业均可以使用华为云MRS服务进行大数据处理。
方案架构
该解决方案会部署如下资源:
- 在对象存储服务 OBS中创建一个并行文件系统,用于存储数据。
- 在统一身份认证服务 IAM创建一个委托,将账号Region内对象存储服务 OBS操作权限委托给弹性云服务器 ECS。
- 使用MapReduce服务 MRS的集群作为数据计算处理。
约束与限制
- 部署该解决方案之前,您需注册华为账号并开通华为云,完成实名认证,且账号不能处于欠费或冻结状态,如使用包周期部署确保余额充足。
- 如果选用IAM委托权限部署资源,请确保使用的华为云账号有IAM的足够权限,具体请参考创建rf_admin_trust委托(可选);如果使用华为主账号或admin用户组下的IAM子账户可不选委托,将采用当前登录用户的权限进行部署。