30%以上的数据），建议使用coalesce算子，手动减少RDD的partition数量，将RDD中的数据压缩到更少的partition中去。因为filter之后，RDD的每个partition中都会有很多数据被过滤掉，此时如果照常进行后续的计算，其实每个task处理的parti

查看更多 →

此基础上，规划需要的CPU核数和内存大小。 在规划内存时，要预留一定量的内存空间作为操作系统的buffer cache，一般预留20%。 从HDFS中读入数据时，要考虑block解压缩后的数据膨胀。 规划一定的磁盘作为缓存空间，包括缓存数据、日志、Shuffle数据。 调优原则 提高cpu使用率同时减少额外性能开销。

查看更多 →

他Executor提供shuffle数据时，会影响任务运行。 External shuffle Service是长期存在于NodeManager进程中的一个辅助服务。通过该服务来抓取shuffle数据，减少了Executor的压力，在Executor GC的时候也不会影响其他Executor的任务运行。

查看更多 →

资源受限的问题。此时需要对数据重新进行分区，使用coalesce(numPartitions, true)。 localDir配置 Spark的Shuffle过程需要写本地磁盘，Shuffle是Spark性能的瓶颈，I/O是Shuffle的瓶颈。配置多个磁盘则可以并行的把数据写入

查看更多 →

avgRate 否 String 平均速率。 predictEndTime 否 Long 预计完成时间。 recordCount 否 Int 已上传的记录条数。 cusName 否 String AK。 cusId 否 String SK。 响应 响应样例 {"success":true,"returnData":

查看更多 →

安装过程 解压AICC_***_OpenEye.zip后，双击OpenEyeSetup.exe。 图1 选择安装语言 单击“OK”。 图2 安装向导 点击“下一步”。 图3 安装位置选择 点击“安装”，安装完成后显示下图。 图4 安装结果 点击“完成”，在操作系统的启动项中，新增安装信息。

查看更多 →

存储过程 商业规则和业务逻辑可以通过程序存储在 GaussDB (DWS)中，这个程序就是存储过程。 存储过程是SQL，PL/SQL，Java语句的组合。存储过程使执行商业规则的代码可以从应用程序中移动到数据库。从而，代码存储一次能够被多个程序使用。 存储过程的创建及调用办法请参考CREATE

查看更多 →

存储过程 商业规则和业务逻辑可以通过程序存储在GaussDB中，这个程序就是存储过程。 存储过程是SQL和PL/SQL的组合。存储过程使执行商业规则的代码可以从应用程序中移动到数据库。从而，代码存储一次能够被多个程序使用。 存储过程的创建及调用办法请参考CREATE PROCEDURE。

查看更多 →

存储过程 存储过程 数据类型 数据类型转换 数组、集合和record 声明语法 基本语句 动态语句 控制语句 事务管理 其他语句 游标 高级包 Retry管理 调试 package

查看更多 →

存储过程 存储过程 数据类型 数据类型转换 数组、集合和record 声明语法 基本语句 动态语句 控制语句 事务管理 其他语句 游标 高级包 Retry管理 调试 package

查看更多 →

存储过程 商业规则和业务逻辑可以通过程序存储在GaussDB中，这个程序就是存储过程。 存储过程是SQL和PL/SQL的组合。存储过程使执行商业规则的代码可以从应用程序中移动到数据库。从而，代码存储一次能够被多个程序使用。 存储过程的创建及调用办法请参考CREATE PROCEDURE。

查看更多 →

存储过程 商业规则和业务逻辑可以通过程序存储在GaussDB中，这个程序就是存储过程。 存储过程是SQL、PL/SQL和Java语句的组合。存储过程使执行商业规则的代码可以从应用程序中移动到数据库。从而，代码存储一次能够被多个程序使用。 存储过程的创建及调用办法请参考CREATE

查看更多 →

存储过程 存储过程 数据类型 数据类型转换 数组和record 声明语法 基本语句 动态语句 控制语句 其他语句 游标 高级包 调试

查看更多 →

存储过程 商业规则和业务逻辑可以通过程序存储在GaussDB(DWS)中，这个程序就是存储过程。 存储过程是SQL，PL/SQL，Java语句的组合。存储过程使执行商业规则的代码可以从应用程序中移动到数据库。从而，代码存储一次能够被多个程序使用。 存储过程的创建及调用办法请参考CREATE

查看更多 →

优化过程（Linux） XEN虚拟化类型的 弹性云服务器 正逐渐转变为KVM虚拟化类型，因此XEN实例类型的的私有镜像，通常需要同时支持XEN虚拟化和KVM虚拟化。也建议您优化KVM虚拟化类型的私有镜像，避免最终发放的弹性 云服务器 出现一些不可预知的异常。 Linux弹性云 服务器 的正常

查看更多 →

存储过程 商业规则和业务逻辑可以通过程序存储在GaussDB中，这个程序就是存储过程。 存储过程是SQL、PL/SQL、Java语句的组合。存储过程使执行商业规则的代码可以从应用程序中移动到数据库。从而，代码存储一次能够被多个程序使用。 存储过程的创建及调用办法请参考CREATE

查看更多 →

独立的调优手册及文档，请参考对应组件的调优。本文档重点讨论上述的1，2，3部分的性能调优的内容，并结合MapReduce/Spark的进行调优说明。 批处理业务 批处理主要特点是耗时时间长，消耗的资源比较多，主要的调优和设计推荐如下： 尽量使用ORC File， 配上合适的压缩算法，

查看更多 →

增大partition数，把任务切分的更小。 增大任务执行过程中的超时时间。 在客户端的“spark-defaults.conf”配置文件中配置如下参数。 表2 参数说明 参数 描述 建议值 spark.sql.shuffle.partitions shuffle操作时，shuffle数据的分块数。 4501

查看更多 →

增大partition数，把任务切分的更小。 增大任务执行过程中的超时时间。 在客户端的“spark-defaults.conf”配置文件中配置如下参数。 表2 参数说明 参数 描述 建议值 spark.sql.shuffle.partitions shuffle操作时，shuffle数据的分块数。 4501

查看更多 →

locality.wait.rack 3s 0s 优化shuffle并行度，提升Spark加工效率 所谓的shuffle并发度如下图所示： 集群默认是200，作业可以单独设置。如果发现瓶颈stage（执行时间长），且分配给当前作业的核数大于当前的并发数，说明并发度不足。通过以下配置优化。 场景

查看更多 →

MapReduce Action 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称 resourceManager

查看更多 →