-
Partition Iterator算子消除
![]()
Iterator算子，可以避免执行时一些不必要的开销。由于执行器的PIPELINE架构，Partition Iterator算子会重复执行，在数据量较大的场景下消除Partition Iterator算子的收益十分可观。 示例 消除Partition Iterator算子在GUC参数partition_itera
来自：帮助中心 -
CREATE TABLE PARTITION | SUBPARTITION AS
![]()
这个子句为表或索引指定一个可选的存储参数。参数的详细说明如下所示。 FILLFACTOR 一个表的填充因子（fillfactor）是一个介于10和100之间的百分数。在Ustore存储引擎下，该值的默认值为92，在Astore存储引擎下默认值为100（完全填充）。如果指定了较小的填充因子，INS
来自：帮助中心 -
MapReduce与其他组件的关系
![]()
MapReduce与其他组件的关系 MapReduce和HDFS的关系 HDFS是Hadoop分布式文件系统，具有高容错和高吞吐量的特性，可以部署在价格低廉的硬件上，存储应用程序的数据，适合有超大数据集的应用程序。 MapReduce是一种编程模型，用于大数据集（大于1TB）的并
来自：帮助中心 -
使用Mapreduce
![]()
使用Mapreduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优
来自：帮助中心 -
MapReduce Action
![]()
MapReduce Action 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称 resourceManager
来自：帮助中心 -
MRS MapReduce
![]()
挂起当前作业执行计划：当前作业实例的状态为运行异常，该节点的后续节点以及依赖于当前作业的后续作业实例都会处于等待运行状态。 是否空跑 否 如果勾选了空跑，该节点不会实际执行，将直接返回成功。 任务组 否 选择任务组。任务组配置好后，可以更细粒度的进行当前任务组中的作业节点的并发数控制，比如作业中包含多个节点、补数据、重跑等场景。
来自：帮助中心 -
Repartition时有部分Partition没数据
![]()
有2000个partition里有数据，不同key对应的数据也被分到相同的partition里。 回答 这是正常现象。 数据分到哪个partition是通过对key的hashcode取模得到的，不同的hashcode取模后的结果有可能是一样的，那样数据就会被分到相同的partit
来自：帮助中心 -
Repartition时有部分Partition没数据
![]()
有2000个partition里有数据，不同key对应的数据也被分到相同的partition里。 回答 这是正常现象。 数据分到哪个partition是通过对key的hashcode取模得到的，不同的hashcode取模后的结果有可能是一样的，那样数据就会被分到相同的partit
来自：帮助中心 -
指定是否使用partition-wise scan优化的hint
![]()
指定是否使用partition-wise scan优化的hint 在SMP场景下，对于分区表的并发扫描方式分为两种： 每个线程会遍历所有分区，但是只读取分区的一部分数据，线程之间读取的数据没有交集，所有线程读取的数据合并后是分区的全部数据。 每个线程只和一部分分区绑定，线程之间绑
来自：帮助中心 -
MapReduce大任务的AM调优
![]()
更多的内存来管理。AM默认分配的内存堆大小是1GB。 操作步骤 通过调大如下的参数来进行AM调优。 参数入口： 在Yarn客户端的“mapred-site.xml”配置文件中调整如下参数。“mapred-site.xml”配置文件在客户端安装路径的conf目录下，例如“/opt/
来自：帮助中心 -
MapReduce大任务的AM调优
![]()
更多的内存来管理。AM默认分配的内存堆大小是1GB。 操作步骤 通过调大如下的参数来进行AM调优。 参数入口： 在Yarn客户端的“mapred-site.xml”配置文件中调整如下参数。“mapred-site.xml”配置文件在客户端安装路径的conf目录下，例如“/opt/
来自：帮助中心 -
开发MapReduce应用
![]()
-
MapReduce接口介绍
![]()
-
指定是否使用Partition-wise Scan优化的hint
![]()
指定是否使用Partition-wise Scan优化的hint 在SMP场景下，对于分区表的并发扫描方式分为两种： 每个线程会遍历所有分区，但是只读取分区的一部分数据，线程之间读取的数据没有交集，所有线程读取的数据合并后是分区的全部数据。 每个线程只和一部分分区绑定，线程之间绑
来自：帮助中心 -
建立Hive表分区提升查询效率
![]()
建立Hive表分区提升查询效率 操作场景 Hive在做Select查询时，一般会扫描整个表内容，会消耗较多时间去扫描不关注的数据。此时，可根据业务需求及其查询维度，建立合理的表分区，从而提高查询效率。 操作步骤 以root用户登录已安装Hive客户端的节点。 执行以下命令，进入客
来自：帮助中心 -
使用MapReduce
![]()
使用MapReduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优
来自：帮助中心 -
MapReduce Action
![]()
MapReduce Action 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称 resourceManager
来自：帮助中心 -
建立Hive表分区提升查询效率
![]()
动态分区默认模式是strict，也就是必须至少指定一列为静态分区，在静态分区下建立动态子分区，可以通过如下设置来开启完全的动态分区： set hive.exec.dynamic.partition.mode=nonstrict; 动态分区可能导致一个DML语句创建大量的分区，对应创建大量新文件夹，对系统性能可能带来影响。
来自：帮助中心 -
分区表插入数据报错：inserted partition key does not map to any table partition
![]()
射到已创建的某一分区上，则把记录插入到对应的分区上，否则给出报错和提示信息。 示例中的分区表tpcds.startend_pt是以c2列为partition_key，将插入表的数据分为5个没有重叠的分区。而插入的数据中，c2列对应的数据5001已超过了分区表中划分的分区范围（即5001>5000），因此报错。
来自：帮助中心 -
配置Drop Partition命令支持批量删除
![]()
配置为true后，使用Drop Partition命令支持使用如下过滤条件，如'<'，'<='，'>'，'>='，'!>'，'!<'。 true spark.sql.dropPartitionsInBatch.limit 支持批量删除的最大分区数。 1000 父主题： Spark SQL企业级能力增强
来自：帮助中心 -
开发MapReduce应用
![]()
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
