更新时间:2024-05-28 GMT+08:00

MRS应用开发简介

MRS应用开发概述

MRS是企业级大数据存储、查询、分析的统一平台,能够帮助企业快速构建海量数据信息处理系统,通过对海量信息数据的分析挖掘,发现全新价值点和企业商机。

MRS提供了各组件的常见业务场景样例程序,开发者用户可基于样例工程进行相关数据应用的开发与编译,样例工程依赖的jar包直接通过华为云开源镜像站下载,其他社区开源jar包可从各Maven公共仓库下载。

开发者能力要求

  • 您已经对大数据各组件具备一定的认识。
  • 您已经对Java语法具备一定的认识。
  • 您已经对弹性云服务器的使用方式和MapReduce服务开发组件有一定的了解。
  • 您已经对Maven构建方式具备一定的认识和使用方法有一定了解。

MRS应用开发流程说明

通常MRS应用开发流程如下图所示,各组件应用的开发编译操作可参考组件开发指南对应章节。

图1 MRS应用开发流程
表1 MRS应用开发流程说明

阶段

说明

准备开发环境

在进行应用开发前,需首先准备开发环境,推荐使用IntelliJ IDEA工具,同时本地需完成JDK、Maven等初始配置。

准备连接集群配置文件

应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。

用于程序调测或运行的节点,需要与MRS集群内节点网络互通。

配置并导入样例工程

MRS提供了不同组件场景下的多种样例程序,用户可获取样例工程并导入本地开发环境中进行程序学习。

配置安全认证

连接开启了Kerberos认证的MRS集群时,应用程序中需配置具有相关资源访问权限的用户进行安全认证。

根据业务场景开发程序

根据实际业务场景开发程序,调用组件接口实现对应功能。

编译并运行程序

将开发好的程序编译运行,用户可在本地Windows开发环境中进行程序调测运行,也可以将程序编译为Jar包后,提交到Linux节点上运行。