使用Hash shuffle出现任务失败 问题 使用Hash shuffle运行1000000（map个数）*100000（reduce个数）的任务，运行日志中出现大量的消息发送失败和Executor心跳超时，从而导致任务失败。 回答 对于Hash shuffle，在shuffle的过程

查看更多 →

le。由于shuffle涉及到了磁盘的读写和网络的传输，因此shuffle性能的高低直接影响到了整个程序的运行效率。 下图清晰地描述了MapReduce算法的整个流程。 图3 算法流程 概念上shuffle就是一个沟通数据连接的桥梁，实际上shuffle这一部分是如何实现的呢，下

查看更多 →

le。由于shuffle涉及到了磁盘的读写和网络的传输，因此shuffle性能的高低直接影响到了整个程序的运行效率。 下图清晰地描述了MapReduce算法的整个流程。 图3 算法流程 概念上shuffle就是一个沟通数据连接的桥梁，实际上shuffle这一部分是如何实现的呢，下

查看更多 →

le。由于shuffle涉及到了磁盘的读写和网络的传输，因此shuffle性能的高低直接影响到了整个程序的运行效率。 下图清晰地描述了MapReduce算法的整个流程。 图3 算法流程 概念上shuffle就是一个沟通数据连接的桥梁，实际上shuffle这一部分是如何实现的呢，下

查看更多 →

MapReduce Action 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称 resourceManager

查看更多 →

响到整个HiveServer的性能，主要包括HiveMetaStore访问时间，访问次数，连接并发数。 MapReduce/Spark：以该组件进行执行时，MapReduce/Spark执行的情况直接引影响到Hive的性能，如每个任务的大小，任务与资源分配均匀度，任务拆分合理度等。

查看更多 →

使用Hash shuffle出现任务失败 访问Spark应用的聚合日志页面报“DNS查找失败”错误 由于Timeout waiting for task异常导致Shuffle FetchFailed Executor进程Crash导致Stage重试 执行大数据量的shuffle过程时Executor注册shuffle

查看更多 →

coalesce(numPartitions: Int, shuffle: Boolean = false) 当shuffle为true的时候，函数作用与repartition(numPartitions: Int)相同，会将数据通过Shuffle的方式重新分区；当shuffle为false的时候，则只是简单

查看更多 →

<filesize> <shuffle> db.table的形式是“数据库名.表名”，filesize为用户自定义的合并后平均文件大小（单位MB），shuffle是一个boolean值，取值true/false，作用是设置合并过程中是否允许数据进行shuffle。 例如：sh mergetool

查看更多 →

在“当前所在库”右侧单击“切换库”，切换至目标数据库。 图1 切换数据库 在对象列表页签中选择“存储过程”。 在存储过程列表右侧操作栏单击“删除存储过程”。 图2 删除存储过程 在确认删除存储过程弹出框中，单击“是”即可。 父主题： 存储过程管理

查看更多 →

在对象列表页签中选择“存储过程”。 单击“新建存储过程”。 在新建存储过程弹出框中填写存储过程名称、描述信息。 图2 新建存储过程页面 单击“确定”，进入新建存储过程编辑页面。 根据业务需求设置选项信息。 图3 选项页面 选项信息设置完成后，您可以保存或者执行存储过程。 执行存储过程后，您可在页面下部消息栏中查看执行情况。

查看更多 →

录目标数据库实例。 在顶部导航栏选择“库管理”。 在对象列表页签下选择“存储过程”，在右侧操作栏单击“删除存储过程”。 图1 删除存储过程 在确认删除存储过程弹出框中，单击“是”即可。 父主题： 存储过程管理

查看更多 →

签下选择“存储过程”。 单击“新建存储过程”。 图1 存储过程列表页面 在新建存储过程弹出框中填写存储过程名称、类型，单击“确定”，进入新建存储过程编辑页面。 图2 新建存储过程 在存储过程设置页面中根据业务需求输入存储过程信息，单击“保存”。 父主题： 存储过程管理

查看更多 →

存储过程管理 新建存储过程 修改或执行存储过程 查看存储过程详情 删除存储过程 父主题： GaussDB (DWS)（即将下线）

查看更多 →

在对象列表页签下选择“存储过程”，单击“新建存储过程”。 图2 新建存储过程 在新建存储过程弹框中，填写存储过程名称和描述信息后，单击“确定”。 图3 编辑页面 根据业务需求设置选项信息。 图4 选项页面 选项信息设置完成后，您可以保存或者执行存储过程。 存储过程执行成功后，您可在页面下方的消息栏中查看执行情况。

查看更多 →

远程过程调用 远程过程调用监控项可以对远程过程调用进行监控，可以监控的远程过程调用可包含GRP CS erver等类型。本章节主要对查看GRPCServer监控进行介绍。 查看远程过程调用 登录管理控制台。 单击左侧，选择“管理与监管 > 应用性能管理 APM”，进入APM服务页面。

查看更多 →

选择“资源管理 > 存储过程”，在存储过程管理页签右上角单击“”。 填写存储过程的基本信息。 “存储过程名”可根据功能含义自行定义。 “存储过程值”请配置为您数据库中已经存在的存储过程名称。 “数据库连接”取值于步骤2创建的数据库。 单击“入参”，依次单击“添加”配置存储过程的入参。 存储过程中的入参通常跟在CREATE

查看更多 →

SSB测试过程 SSB测试数据 SSB数据生成 建表与导入SSB数据 SSB查询测试 父主题： SSB性能测试

查看更多 →

存储过程调用 当前数据API不支持直接创建存储过程，但是可以执行MySQL、Oracle、PostgreSQL这三种数据源的存储过程，以Oracle数据库为例说明。 数据源说明 假设数据库里面有一张表，表结构如下建表语句所示： create table sp_test(id number

查看更多 →

存储过程管理 新建存储过程 修改或执行存储过程 删除存储过程 查看存储过程详情 父主题： MySQL

查看更多 →

在对象列表页签下选择“存储过程”，单击页面左上侧“新建存储过程”。 图2 新建存储过程 在新建存储过程页面，单击设置模板参数，在设置模板参数弹窗中填写参数信息，单击“确定”。 图3 设置模板参数 在新建存储过程页面，单击“执行”。 图4 执行存储过程 在弹窗中设置存储过程的入口参数值，单击“开始执行”。

查看更多 →