创建一个 MRS 集群，具体操作步骤请参见购买自定义集群。 创建一个HDFS外表，外表通过外部 服务器 的接口，从MRS集群查询数据。 具体操作步骤请参见《 数据仓库 服务数据迁移与同步》中从MRS导入数据到集群章节。 同一个网络下可以有多个MRS数据源， 但是 GaussDB (DWS)集群每次只能和一个MRS集群建立连接。

查看更多 →

的目录和文件。 MapReduce服务（MapReduce Service，MRS） LakeFormation与MRS集群中的Ranger、Hive、Spark对接，实现湖、仓元数据统一管理。 数据仓库服务 GaussDB（DWS） LakeFormation与DWS对接，实现湖、仓元数据统一管理。

查看更多 →

请参考配置 DLI 队列与内网数据源的网络联通或配置DLI队列与公网网络联通打通DLI Spark通用队列与DWS的网络连接，否则会导致静态脱敏任务失败。 MapReduce服务（MRS Hive）所在的MRS集群必须开启Kerberos认证，且必须安装Spark组件。 MRS引擎的

查看更多 →

Service，简称OBS）存储数据和模型的备份和快照，实现安全、高可靠和低成本的存储需求。 与MapReduce服务的关系 数据解析使用MRS的Spark作为解析时的计算引擎，通过HadoopService与Spark交互。 父主题： 产品介绍

查看更多 →

平台，轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件，并具备在后续根据业务需要进行定制开发的能力，帮助企业快速构建海量数据信息处理系统，并通过对海量信息数据实时与非实时的分析挖掘，发现全新价值点和企业商机。 MRS与OBS对接的具体操作，请参见华为云MRS对接OBS。

查看更多 →

Spark Spark基本原理 Spark HA方案介绍 Spark与其他组件的关系 Spark开源增强特性 父主题： 组件介绍

查看更多 →

MRS可以做什么？ 问： MapReduce Service（MRS）可以做什么？ 答： MapReduce服务（MapReduce Service）为客户提供ClickHouse、Spark、Flink、Kafka、HBase等Hadoop生态的高性能大数据引擎，支持 数据湖 、数

查看更多 →

MRS样例工程下载地址为https://github.com/huaweicloud/huaweicloud-mrs-example。 切换分支为与MRS集群相匹配的版本分支，例如“mrs-3.2.0.1”，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。 图1 MRS样例工程代码下载

查看更多 →

MRS样例工程下载地址为https://github.com/huaweicloud/huaweicloud-mrs-example。 切换分支为与MRS集群相匹配的版本分支，例如“mrs-3.2.0.1”，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。 图1 MRS样例工程代码下载

查看更多 →

作业管理 MRS作业简介 运行MapReduce作业 运行SparkSubmit或Spark作业 运行HiveSql作业 运行SparkSql作业 运行Flink作业 运行HadoopStream作业 查看作业配置信息和日志 停止作业 克隆作业 删除作业 使用OBS加密数据运行作业

查看更多 →

176:21003/oozie 选择运行的样例工程： OozieMapReduceExcample样例工程，执行6。 OozieSparkHBaseExample和OozieSparkHiveExample样例工程，请参考使用Oozie调度Spark访问HBase以及Hive。 使用客户端上传Oo

查看更多 →

176:21003/oozie 选择运行的样例工程： OozieMapReduceExcample样例工程，执行6。 OozieSparkHBaseExample和OozieSparkHiveExample样例工程，请参考使用Oozie调度Spark2x访问HBase以及Hive。 使用客户端上传

查看更多 →

。控制端负责任务调度，执行端负责任务执行。 读取文件的过程如图1所示。 图1 读取文件过程 读取文件步骤的详细描述如下所示： Driver与HDFS交互获取File A的文件信息。 HDFS返回该文件具体的Block信息。 Driver根据具体的Block数据量，决定一个并行度，

查看更多 →

MapReduce Action 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称 resourceManager

查看更多 →

使用MapReduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优

查看更多 →

MapReduce Action 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称 resourceManager

查看更多 →

使用MapReduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优

查看更多 →

ive的数据计算依赖于MapReduce、Spark、Tez。 Hive基本原理 从零开始使用Hive Hue组件 Hue是一组WEB应用，用于和MRS大数据组件进行交互，能够帮助用户浏览HDFS，进行Hive查询，启动MapReduce任务等，它承载了与所有MRS大数据组件交互的应用。

查看更多 →

需要以“/”或“s3a://”开头。OBS路径不支持KMS加密的文件或程序。 Spark Script需要以“.sql”结尾，MapReduce和Spark Jar需要以“.jar”结尾，sql和jar不区分大小写。 说明： 作业类型为MapReduce或Spark时，jar_path参数为必选。 input 否

查看更多 →

FDI Job DLI Flink Job DLI SQL DLI Spark DWS SQL MRS Spark SQL MRS Hive SQL MRS Presto SQL MRS Spark MRS Spark Python MRS ClickHouse MRS HetuEngine

查看更多 →

MRS MapReduce 功能 通过MRS MapReduce节点实现在MRS中执行预先定义的MapReduce程序。 参数 用户可参考表1和表2配置MRS MapReduce节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数

查看更多 →