MRS数据源使用概述

MRS集群简介

MapReduce服务（MapReduce Service，简称MRS）是一个基于开源Hadoop生态环境而运行的大数据集群，对外提供大容量数据的存储和分析能力，可解决用户的数据存储和处理需求。有关MRS服务的详细信息，请参考《MapReduce服务用户指南》。

用户可以将海量业务数据，存储在MRS的分析集群，即使用Hive/Spark组件保存。Hive/Spark的数据文件则保存在HDFS中。DWS支持在相同网络中，配置一个DWS集群连接到MRS集群，然后将数据从HDFS中的文件读取到DWS。

应用场景

DWS和MRS分别擅长不同类型的数据处理：

• DWS：面向结构化数据，提供标准SQL查询、高并发分析等能力，适用于数据仓库场景。
• MRS：面向海量、多样化的数据，提供Hive/Spark等组件批处理和分析能力，适用于大数据处理场景。

当业务数据经MRS集群中的Hive/Spark组件加工后存放在HDFS中，需要与DWS集群中的数据合并进行统一分析时，可通过配置MRS数据源连接，将HDFS中的数据文件导入DWS。

示例：某企业将海量业务日志交由MRS集群的Spark组件进行清洗与聚合，结果数据存放在HDFS中。当需要在DWS中对清洗后的数据与订单表进行关联分析时，可通过MRS数据源将HDFS中的数据导入DWS，实现统一查询与分析。

约束与限制

• 同一个网络下可以有多个MRS数据源，但DWS集群每次只能和一个MRS集群建立连接。
• DWS集群与MRS集群需处于同一网络且网络互通，否则无法创建数据源连接或导入数据。
• 当MRS集群的HDFS配置发生变更时，需及时更新DWS中的MRS数据源配置，否则已建立的数据源连接可能无法正常使用。

使用流程

从MRS导入数据到集群流程如下：

1. 创建一个MRS集群，具体操作步骤请参见购买自定义集群。
2. 创建一个HDFS外表，外表通过外部服务器的接口，从MRS集群查询数据。

   具体操作步骤请参见《数据仓库服务数据迁移与同步》中从MRS导入数据到集群章节。

3. 在DWS集群创建一个MRS数据源连接，具体操作步骤请参见创建MRS数据源连接。
4. 使用MRS数据源导入数据到集群，具体操作请参见使用MRS数据源。
5. （可选）当MRS集群的HDFS配置发生变更时，需要在DWS服务中执行MRS数据源配置的更新操作，详情请参见更新MRS数据源配置。

相关文档

• MRS服务产品介绍：什么是MapReduce服务
• MRS导入数据到DWS最佳实践：从MRS Hive导入表数据到DWS集群