更新时间:2025-08-05 GMT+08:00
MRS使用指南
访问Manager
Manager(集群管理页面)提供了企业级的大数据集群的统一管理平台,帮助用户快捷、直观的完成集群的运行维护,支持监控、配置和管理MRS集群。
- 进入集群“概览”,在基本信息中找到“集群管理页面”。
- 单击“前往Manager”,按界面提示绑定弹性公网IP及添加安全组规则后,即可进入MRS Manager登录页面。
- 通过MRS Manager界面,您也可以继续访问集群内大数据组件的原生WebUI界面。
详细操作指导:
登录集群节点
MRS集群中每个节点即为一台弹性云服务器,您可以使用如下两种方式登录MRS集群节点:
- 直接单击节点名称,跳转到弹性云服务器管理控制台,使用其提供的“远程登录”功能,登录到MRS集群节点。
- 使用SSH方式(密码或密钥方式)登录。
详细操作指导:登录MRS集群节点。
安装MRS客户端
MRS客户端是用来与集群进行交互的工具。用户可以通过客户端提交作业、管理集群资源、查看作业状态等。客户端与集群之间通过紧密的协作,实现了用户对大规模数据处理和分析的需求。客户端负责将用户的作业请求发送给集群,集群则负责高效地执行作业,并将结果和状态反馈给客户端。
MRS集群提供了客户端,可以在连接服务端、查看任务结果或管理数据的场景中使用。
详细操作指导:安装客户端
MRS集群创建成功后,用户可以基于业务需求开发上层应用或脚本,对业务数据进行处理。用户基于大数据组件能力并结合实际业务情况开发作业程序或者脚本,然后与业务数据一同上传云平台后并提交运行,以实现指定的业务目标。
MRS集群中的常见作业类型如下:
- MapReduce:提供快速并行处理大量数据的能力,是一种分布式数据处理模式和执行环境,MRS支持提交MapReduce Jar程序。
- Spark:基于内存进行计算的分布式计算框架,MRS支持提交SparkSubmit、Spark Script和Spark SQL作业。
- SparkSubmit:提交Spark Jar和Spark Python程序,运行Spark Application计算和处理用户数据。
- SparkScript:提交SparkScript脚本,批量执行Spark SQL语句。
- Spark SQL:使用Spark提供的类似SQL的Spark SQL语句,实时查询和分析用户数据。
- Hive:建立在Hadoop基础上的开源的数据仓库。MRS支持提交HiveScript脚本和直接执行Hive SQL语句。
- Flink:提供一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态计算。
- HadoopStreaming:HadoopStreaming作业像普通Hadoop作业一样,除了可以指定输入和输出的HDFS路径的参数外,它还可以指定mapper和reducer的可执行程序。
详细操作指导: