-
Tez
![]()
效率远远超过原先的MapReduce的计算引擎。 有关Tez的详细说明，请参见：https://tez.apache.org/。 Tez和MapReduce间的关系 Tez采用了DAG来组织MapReduce任务（DAG中一个节点就是一个RDD，边表示对RDD的操作）。它的核心思
来自：帮助中心 -
Spark应用开发常用概念
![]()
。 从父RDD转换得到新RDD。 从数据集合转换而来，通过编码实现。 RDD的存储： 用户可以选择不同的存储级别缓存RDD以便重用（RDD有11种存储级别）。 当前RDD默认是存储于内存，但当内存不足时，RDD会溢出到磁盘中。 Dependency（RDD的依赖） RDD的依赖分别为：窄依赖和宽依赖。
来自：帮助中心 -
HDFS与其他组件的关系
![]()
HDFS和MapReduce的关系 HDFS是Hadoop分布式文件系统，具有高容错和高吞吐量的特性，可以部署在价格低廉的硬件上，存储应用程序的数据，适合有超大数据集的应用程序。 而MapReduce是一种编程模型，用于大数据集（大于1TB）的并行运算。在MapReduce程序中计
来自：帮助中心 -
Spark应用开发简介
![]()
。 从父RDD转换得到新RDD。 从数据集合转换而来，通过编码实现。 RDD的存储： 用户可以选择不同的存储级别缓存RDD以便重用（RDD有11种存储级别）。 当前RDD默认是存储于内存，但当内存不足时，RDD会溢出到磁盘中。 Dependency（RDD的依赖） RDD的依赖分别为：窄依赖和宽依赖。
来自：帮助中心 -
Spark2x基本原理
![]()
。 从父RDD转换得到新RDD。 从数据集合转换而来，通过编码实现。 RDD的存储： 用户可以选择不同的存储级别缓存RDD以便重用（RDD有11种存储级别）。 当前RDD默认是存储于内存，但当内存不足时，RDD会溢出到磁盘中。 Dependency（RDD的依赖） RDD的依赖分别为：窄依赖和宽依赖。
来自：帮助中心 -
Spark基本原理
![]()
。 从父RDD转换得到新RDD。 从数据集合转换而来，通过编码实现。 RDD的存储： 用户可以选择不同的存储级别缓存RDD以便重用（RDD有11种存储级别）。 当前RDD默认是存储于内存，但当内存不足时，RDD会溢出到磁盘中。 Dependency（RDD的依赖） RDD的依赖分别为：窄依赖和宽依赖。
来自：帮助中心 -
Spark应用开发简介
![]()
。 从父RDD转换得到新RDD。 从数据集合转换而来，通过编码实现。 RDD的存储： 用户可以选择不同的存储级别缓存RDD以便重用（RDD有11种存储级别）。 当前RDD默认是存储于内存，但当内存不足时，RDD会溢出到磁盘中。 Dependency（RDD的依赖） RDD的依赖分别为：窄依赖和宽依赖。
来自：帮助中心 -
Spark应用开发简介
![]()
。 从父RDD转换得到新RDD。 从数据集合转换而来，通过编码实现。 RDD的存储： 用户可以选择不同的存储级别缓存RDD以便重用（RDD有11种存储级别）。 当前RDD默认是存储于内存，但当内存不足时，RDD会溢出到磁盘中。 Dependency（RDD的依赖） RDD的依赖分别为：窄依赖和宽依赖。
来自：帮助中心 -
Spark应用开发简介
![]()
。 从父RDD转换得到新RDD。 从数据集合转换而来，通过编码实现。 RDD的存储： 用户可以选择不同的存储级别缓存RDD以便重用（RDD有11种存储级别）。 当前RDD默认是存储于内存，但当内存不足时，RDD会溢出到磁盘中。 Dependency（RDD的依赖） RDD的依赖分别为：窄依赖和宽依赖。
来自：帮助中心 -
MapReduce
![]()
-
Hive与其他组件的关系
![]()
Hive与MapReduce组件的关系 Hive的数据计算依赖于MapReduce。MapReduce也是Apache的Hadoop项目的子项目，它是一个基于Hadoop HDFS分布式并行计算框架。Hive进行数据分析时，会将用户提交的HQL语句解析成相应的MapReduce任务并提交MapReduce执行。
来自：帮助中心 -
Spark应用开发建议
![]()
这个过程比较耗时，尤其是数据量很大时，建议不要直接对大文件生成的RDD使用。 join() : (RDD[(K, V)], RDD[(K, W)]) => RDD[(K, (V, W))]，作用是将两个RDD通过key做连接。 如果RDD[(K, V)]中某个key有X个value，而RDD[(K, W)]中相同ke
来自：帮助中心 -
MapReduce Action
![]()
MapReduce Action 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称 resourceManager
来自：帮助中心 -
使用Mapreduce
![]()
使用Mapreduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优
来自：帮助中心 -
BulkLoad接口使用
![]()
构造成rdd，然后通过HBaseContext的bulkLoad接口将rdd写入HFile中。将生成的HFile导入HBase表的操作采用如下格式的命令，不属于本接口范围，不在此进行详细说明： hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles
来自：帮助中心 -
BulkLoad接口使用
![]()
构造成rdd，然后通过HBaseContext的bulkLoad接口将rdd写入HFile中。将生成的HFile导入HBase表的操作采用如下格式的命令，不属于本接口范围，不在此进行详细说明： hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles
来自：帮助中心 -
使用MapReduce
![]()
使用MapReduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优
来自：帮助中心 -
MapReduce Action
![]()
MapReduce Action 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称 resourceManager
来自：帮助中心 -
BulkLoad接口使用
![]()
用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase，将要插入的数据的rowKey构造成rdd，然后通过HBaseContext的bulkLoad接口将rdd写入HFile中。将生成的HFile文件导入HBase表的操作采用如下格式的命令，不属于本接口范围，不在此进行详细说明：
来自：帮助中心 -
BulkLoad接口使用
![]()
用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase，将要插入的数据的rowKey构造成rdd，然后通过HBaseContext的bulkLoad接口将rdd写入HFile中。将生成的HFile文件导入HBase表的操作采用如下格式的命令，不属于本接口范围，不在此进行详细说明：
来自：帮助中心 -
MRS MapReduce
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
