le。由于shuffle涉及到了磁盘的读写和网络的传输，因此shuffle性能的高低直接影响到了整个程序的运行效率。 下图清晰地描述了MapReduce算法的整个流程。 图3 算法流程 概念上shuffle就是一个沟通数据连接的桥梁，实际上shuffle这一部分是如何实现的呢，下

查看更多 →

le。由于shuffle涉及到了磁盘的读写和网络的传输，因此shuffle性能的高低直接影响到了整个程序的运行效率。 下图清晰地描述了MapReduce算法的整个流程。 图3 算法流程 概念上shuffle就是一个沟通数据连接的桥梁，实际上shuffle这一部分是如何实现的呢，下

查看更多 →

enabled为true时）shuffle分区的咨询大小（单位：字节），在Spark聚合小shuffle分区或拆分倾斜的shuffle分区时生效。 64MB spark.sql.adaptive.fetchShuffleBlocksInBatch 是否批量取连续的shuffle块。对于同一个m

查看更多 →

enabled为true时）shuffle分区的咨询大小（单位：字节），在Spark聚合小shuffle分区或拆分倾斜的shuffle分区时生效。 64MB spark.sql.adaptive.fetchShuffleBlocksInBatch 是否批量取连续的shuffle块。对于同一个m

查看更多 →

MapReduce MapReduce基本原理 MapReduce与其他组件的关系 MapReduce开源增强特性 父主题： 组件介绍

查看更多 →

coalesce(numPartitions: Int, shuffle: Boolean = false) 当shuffle为true的时候，函数作用与repartition(numPartitions: Int)相同，会将数据通过Shuffle的方式重新分区；当shuffle为false的时候，则只是简单

查看更多 →

coalesce(numPartitions: Int, shuffle: Boolean = false) 当shuffle为true的时候，函数作用与repartition(numPartitions: Int)相同，会将数据通过Shuffle的方式重新分区；当shuffle为false的时候，则只是简单

查看更多 →

使用External Shuffle Service提升性能 操作场景 Spark系统在运行含shuffle过程的应用时，Executor进程除了运行task，还要负责写shuffle数据，给其他Executor提供shuffle数据。当Executor进程任务过重，导致GC而不

查看更多 →

使用Hash shuffle出现任务失败 访问Spark应用的聚合日志页面报“DNS查找失败”错误 由于Timeout waiting for task异常导致Shuffle FetchFailed Executor进程Crash导致Stage重试 执行大数据量的shuffle过程时Executor注册shuffle

查看更多 →

使用Hash shuffle出现任务失败 访问Spark应用的聚合日志页面报“DNS查找失败”错误 由于Timeout waiting for task异常导致Shuffle FetchFailed Executor进程Crash导致Stage重试 执行大数据量的shuffle过程时Executor注册shuffle

查看更多 →

NONE。 慎重选择shuffle过程的算子 该类算子称为宽依赖算子，其特点是父RDD的一个partition影响子RDD得多个partition，RDD中的元素一般都是<key, value>对。执行过程中都会涉及到RDD的partition重排，这个操作称为shuffle。 由于sh

查看更多 →

le。由于shuffle涉及到了磁盘的读写和网络的传输，因此shuffle性能的高低直接影响到了整个程序的运行效率。 下图清晰地描述了MapReduce算法的整个流程。 图3 算法流程 概念上shuffle就是一个沟通数据连接的桥梁，实际上shuffle这一部分是如何实现的呢，下

查看更多 →

Spark是基于内存的分布式计算框架。在迭代计算的场景下，数据处理过程中的数据可以存储在内存中，提供了比MapReduce高10到100倍的计算能力。Spark可以使用HDFS作为底层存储，使用户能够快速地从MapReduce切换到Spark计算平台上去。Spark提供一站式数据分析能

查看更多 →

签下选择“存储过程”。 单击“新建存储过程”。 图1 存储过程列表页面 在新建存储过程弹出框中填写存储过程名称、类型，单击“确定”，进入新建存储过程编辑页面。 图2 新建存储过程 在存储过程设置页面中根据业务需求输入存储过程信息，单击“保存”。 父主题： 存储过程管理

查看更多 →

存储过程管理 新建存储过程 修改或执行存储过程 查看存储过程详情 删除存储过程 父主题： GaussDB (DWS)（即将下线）

查看更多 →

在“当前所在库”右侧单击“切换库”，切换至目标数据库。 图1 切换数据库 在对象列表页签中选择“存储过程”。 在存储过程列表右侧操作栏单击“删除存储过程”。 图2 删除存储过程 在确认删除存储过程弹出框中，单击“是”即可。 父主题： 存储过程管理

查看更多 →

在对象列表页签中选择“存储过程”。 单击“新建存储过程”。 在新建存储过程弹出框中填写存储过程名称、描述信息。 图2 新建存储过程页面 单击“确定”，进入新建存储过程编辑页面。 根据业务需求设置选项信息。 图3 选项页面 选项信息设置完成后，您可以保存或者执行存储过程。 执行存储过程后，您可在页面下部消息栏中查看执行情况。

查看更多 →

录目标数据库实例。 在顶部导航栏选择“库管理”。 在对象列表页签下选择“存储过程”，在右侧操作栏单击“删除存储过程”。 图1 删除存储过程 在确认删除存储过程弹出框中，单击“是”即可。 父主题： 存储过程管理

查看更多 →

在对象列表页签下选择“存储过程”，单击“新建存储过程”。 图2 新建存储过程 在新建存储过程弹框中，填写存储过程名称和描述信息后，单击“确定”。 图3 编辑页面 根据业务需求设置选项信息。 图4 选项页面 选项信息设置完成后，您可以保存或者执行存储过程。 存储过程执行成功后，您可在页面下方的消息栏中查看执行情况。

查看更多 →

远程过程调用 远程过程调用监控项可以对远程过程调用进行监控，可以监控的远程过程调用可包含GRP CS erver等类型。本章节主要对查看GRPCServer监控进行介绍。 查看远程过程调用 登录管理控制台。 单击左侧，选择“管理与监管 > 应用性能管理 APM”，进入APM服务页面。

查看更多 →

coalesce(numPartitions: Int, shuffle: Boolean = false) 当shuffle为true的时候，函数作用与repartition(numPartitions: Int)相同，会将数据通过Shuffle的方式重新分区；当shuffle为false的时候，则只是简单

查看更多 →