由浅入深，带您玩转 MRS 01 了解 了解华为云MRS服务的产品优势和应用场景，有助于您更准确地匹配实际业务，更快速地选择所需的组件，帮助您构建海量数据信息处理分析的一站式企业级大数据集群。 产品介绍 什么是MRS MRS应用场景 MRS各版本组件一览表 MRS使用限制 集群组件介绍 产品功能

查看更多 →

在调用作业相关接口的时候，部分URL中需要填入集群ID（cluster_id），所以需要先在管理控制台上获取到集群ID。集群ID获取步骤如下： 登录MRS管理控制台。 选择“现有集群”，单击待操作集群的集群名称，进入集群详情页面。 选择“概览”页签，在基本信息区域获取“集群ID”。 图1 集群ID 获取作业ID

查看更多 →

对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题： 大数据场景下使用OBS实现存算分离

查看更多 →

和关闭Kerberos服务，如需更换Kerberos认证状态，建议重新创建MRS集群，然后进行数据迁移。 mrs-cluster-no-public-ip MRS集群未绑定公网IP mrs 确保 MapReduce服务 （MRS）无法公网访问。华为云MRS集群主节点可能包含敏感信息，并且此类账号需要访问控制。

查看更多 →

MRS集群版本说明 MRS集群版本类型 MRS集群版本类型分为普通版与LTS版本，不同版本集群所包含的组件内容及特性略有不同，用户可根据自身业务需求进行选择。 普通版 功能说明 普通版支持集群基础操作如配置、管理和运维等，具体可以查看用户指南。 组件介绍 除共有组件外，普通版集群

查看更多 →

成能力，降低了客户数据源迁移和集成的复杂性，有效的提高数据迁移和集成的效率，可参考Hadoop数据迁移到华为云MRS服务、HBase数据迁移到华为云MRS服务相关内容。 停止集群业务及相关服务 如果您的集群涉及到Kafka业务，请先停止所有向Kafka中生产数据的作业，等待Kaf

查看更多 →

MRS.Components 字段说明 表1 字段说明 属性 是否必选 参数类型 描述 componentName 是 string 组件名称 取值约束：MRS 2.0.0版本支持Hadoop、Spark、HBase、Hive、Tez、Hue、Loader、Flume、Kafka和Storm组件。MRS

查看更多 →

MRS Impala SQL 功能 通过MRS Impala SQL节点执行数据开发模块中预先定义的Impala SQL脚本。 参数 用户可参考表1和表2配置MRS Impala节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数

查看更多 →

开发脚本。 数据连接 是 默认选择SQL脚本中设置的数据连接，支持修改。 MRS资源队列 否 选择已创建好的MRS资源队列。 当配置默认项“MRS资源队列是否必填”设置为“是”时，该参数为必填。 说明： 数据连接为MRS API连接时支持为Spark SQL作业独立配置需要的资源

查看更多 →

2-LTS版本补丁说明 MRS 3.1.0版本补丁说明 MRS 3.0.5.1补丁说明 MRS 2.1.1.1补丁说明 MRS 2.1.0.11补丁说明 MRS 2.1.0.10补丁说明 MRS 2.1.0.9补丁说明 MRS 2.1.0.8补丁说明 MRS 2.1.0.7补丁说明 MRS 2.1

查看更多 →

MRS.Tags 字段说明 表1 字段说明 属性 是否必选 参数类型 描述 key 否 string 标签的键 取值约束：键不能包含“=”,“*”,“<”,“>”,“\”,“,”,“|”,“/” value 否 string 标签的值 取值约束：值不能包含“=”,“*”,“<”,“>”

查看更多 →

脚本。 数据连接 是 默认选择SQL脚本中设置的数据连接，支持修改。 数据库 是 默认选择SQL脚本中设置的数据库，支持修改。 MRS资源队列 否 选择已创建好的MRS资源队列。 当配置默认项“MRS资源队列是否必填”设置为“是”时，该参数为必填。 说明： 需要先在数据安全服务队

查看更多 →

致提交MRS作业失败。 脚本类型 是 离线脚本 在线脚本 MRS集群名 是 选择支持spark python的mrs集群。MRS只有特定版本支持spark python的集群，请先测试运行，保证集群支持。 如需新建集群，请参考以下方法： 单击，进入“集群列表”页面新建MRS集群。

查看更多 →

同步。 数据连接 是 默认选择SQL脚本中设置的数据连接，支持修改。 数据库 是 默认选择SQL脚本中设置的数据库，支持修改。 运行程序参数 否 为本次执行的作业配置相关优化参数（例如线程、内存、CPU核数等），用于优化资源使用效率，提升作业的执行性能。 说明： 若集群为MRS 1

查看更多 →

容灾：MRS支持将数据备份到OBS（对象存储服务）中，支持跨区域的高可靠性。 备份：MRS支持针对DBService、NameNode、LDAP的元数据备份和对HDFS、HBase的业务数据备份。 数据完整性 通过数据校验，保证数据在存储、传输过程中的数据完整性。 用户数据保存在

查看更多 →

如何快速使用MRS MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群。MRS提供租户完全可控的企业级大数据集群云服务，轻松运行Hadoop、Spark、HBase、Kafka等大数据组件。 MRS使用简单，通过使用在集群中连接在一起的多台计算机

查看更多 →

使用 CDM 服务迁移Hive数据至MRS集群 场景介绍 本章节适用于将线下IDC机房或者公有云Hive集群中的数据（支持数据量在几十TB级别或以下的数据量级）迁移到华为云MRS服务。 Hive数据迁移分两部分内容： Hive的元数据信息，存储在MySQL等数据库中。MRS Hive集群的元数据会默认存储到MRS

查看更多 →

步骤3：迁移源ClickHouse集群下数据库和表的元数据信息到目标集群 执行元数据迁移脚本，将源集群中的ClickHouse数据库和表的数据库名、表名、表结构等元数据信息迁移到目标集群。 步骤4：迁移源ClickHouse集群下数据库和表数据到目标集群 执行数据迁移脚本，将源集群中的ClickH

查看更多 →

转储至MRS 操作前提 转储至MRS时，不支持MRS集群3.x及以上版本，且MRS集群不能开启Kerberos认证。 源数据类型JSON/BLOB/ CS V==>转储文件格式Text 表1 转储Text格式文件的配置参数 参数 说明 取值 任务名称 用户创建转储任务时，需要指定转储

查看更多 →

要为Flink作业指定对应参数。 MRS集群名 是 选择MRS集群。 如需新建集群，请参考以下方法： 单击，进入“集群列表”页面新建MRS集群。 前往MRS管理控制台进行新建。 说明： MRS Flink Job目前支持的MRS集群版本是MRS 3.2.0-LTS.1及以上版本。

查看更多 →

使用CDM服务迁移Hadoop数据至MRS集群 场景介绍 本章节适用于将线下IDC机房或者公有云Hadoop集群中的数据（支持数据量在几十TB级别或以下的数据量级）迁移到华为云MRS服务。 本章节以通过华为云CDM服务 2.9.1.200版本进行数据迁移为例介绍。不同版本操作可能

查看更多 →