优化过程（Linux） XEN虚拟化类型的 弹性云服务器 正逐渐转变为KVM虚拟化类型，因此XEN实例类型的的私有镜像，通常需要同时支持XEN虚拟化和KVM虚拟化。也建议您优化KVM虚拟化类型的私有镜像，避免最终发放的弹性 云服务器 出现一些不可预知的异常。 Linux弹性云 服务器 的正常

查看更多 →

存储过程 存储过程 数据类型 数据类型转换 数组、集合和record 声明语法 基本语句 动态语句 控制语句 事务管理 其他语句 游标 高级包 Retry管理 调试 package

查看更多 →

存储过程 存储过程 数据类型 数据类型转换 数组，集合和record 声明语法 基本语句 动态语句 控制语句 事务管理 其他语句 游标 高级包 Retry管理 调试 package

查看更多 →

存储过程 商业规则和业务逻辑可以通过程序存储在 GaussDB 中，这个程序就是存储过程。 存储过程是SQL、PL/SQL、Java语句的组合。存储过程使执行商业规则的代码可以从应用程序中移动到数据库。从而，代码存储一次能够被多个程序使用。 存储过程的创建及调用办法请参考CREATE

查看更多 →

存储过程 存储过程 数据类型 数据类型转换 数组、集合和record 声明语法 基本语句 动态语句 控制语句 事务语句 其他语句 游标 高级包 Retry管理 PACKAGE 调试

查看更多 →

存储过程 存储过程 数据类型 数据类型转换 数组、集合和record 声明语法 基本语句 动态语句 控制语句 事务管理 其他语句 游标 高级包 Retry管理 调试 package 失效重编译

查看更多 →

独立的调优手册及文档，请参考对应组件的调优。本文档重点讨论上述的1，2，3部分的性能调优的内容，并结合MapReduce/Spark的进行调优说明。 批处理业务 批处理主要特点是耗时时间长，消耗的资源比较多，主要的调优和设计推荐如下： 尽量使用ORC File， 配上合适的压缩算法，

查看更多 →

向动态分区表中插入数据时，在重试的task中出现"Failed to CREATE_FILE"异常 使用Hash shuffle出现任务失败 访问Spark应用的聚合日志页面报“DNS查找失败”错误 由于Timeout waiting for task异常导致Shuffle FetchFailed

查看更多 →

资源受限的问题。此时需要对数据重新进行分区，使用coalesce(numPartitions, true)。 localDir配置 Spark的Shuffle过程需要写本地磁盘，Shuffle是Spark性能的瓶颈，I/O是Shuffle的瓶颈。配置多个磁盘则可以并行的把数据写入

查看更多 →

30%以上的数据），建议使用coalesce算子，手动减少RDD的partition数量，将RDD中的数据压缩到更少的partition中去。因为filter之后，RDD的每个partition中都会有很多数据被过滤掉，此时如果照常进行后续的计算，其实每个task处理的parti

查看更多 →

此基础上，规划需要的CPU核数和内存大小。 在规划内存时，要预留一定量的内存空间作为操作系统的buffer cache，一般预留20%。 从HDFS中读入数据时，要考虑block解压缩后的数据膨胀。 规划一定的磁盘作为缓存空间，包括缓存数据、日志、Shuffle数据。 调优原则 提高cpu使用率同时减少额外性能开销。

查看更多 →

succeeded 请确保当前用户对合并的表具有owner权限。 合并前请确保HDFS上有足够的存储空间，至少需要被合并表大小的一倍以上。 合并表数据的操作需要单独进行，在此过程中读表，可能临时出现找不到文件的问题，合并完成后会恢复正常；另外在合并过程中请注意不要对相应的表进行写操作，否则可能会产生数据一致性问题。

查看更多 →

向动态分区表中插入数据时，在重试的task中出现"Failed to CREATE_FILE"异常 使用Hash shuffle出现任务失败 访问Spark应用的聚合日志页面报“DNS查找失败”错误 由于Timeout waiting for task异常导致Shuffle FetchFailed

查看更多 →

MapReduce与其他组件的关系 MapReduce和HDFS的关系 HDFS是Hadoop分布式文件系统，具有高容错和高吞吐量的特性，可以部署在价格低廉的硬件上，存储应用程序的数据，适合有超大数据集的应用程序。 MapReduce是一种编程模型，用于大数据集（大于1TB）的并

查看更多 →

他Executor提供shuffle数据时，会影响任务运行。 External shuffle Service是长期存在于NodeManager进程中的一个辅助服务。通过该服务来抓取shuffle数据，减少了Executor的压力，在Executor GC的时候也不会影响其他Executor的任务运行。

查看更多 →

MapReduce Action 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称 resourceManager

查看更多 →

删除存储过程 如果您不再需要某个存储过程，可以手动删除该存储过程。 使用须知 删除操作无法恢复，请谨慎选择。 操作步骤 登录管理控制台。 单击管理控制台左上角的，选择区域和项目。 单击页面左上角的，选择“数据库 > 数据管理服务 DAS”，进入数据管理服务页面。 在左侧导航栏中，单击“开发工具”，进入开发工具页面。

查看更多 →

新建存储过程 存储过程是一组为了完成特定功能的SQL语句的集合，它经编译后存储在数据库中，用户可以通过存储过程的名称并给出参数来执行。 存储过程对完成特定功能的SQL语句集或者处理复杂的业务均较为实用，例如您可通过存储过程快速完成循环插入对象等操作。 前提条件 具有CREATE

查看更多 →

删除存储过程 您可以删除不再需要的存储过程。 使用须知 删除操作无法恢复，请谨慎操作。 操作步骤 登录管理控制台。 单击管理控制台左上角的，选择区域和项目。 单击页面左上角的，选择“数据库 > 数据管理服务 DAS”，进入数据管理服务页面。 在左侧导航栏中，单击“开发工具”，进入开发工具页面。

查看更多 →

新建存储过程 存储过程对完成特定功能的SQL语句集或者处理复杂的业务均较为实用，您可通过存储过程快速完成循环插入对象等操作。 前提条件 具有CREATE ROUTINE权限的用户可创建存储过程。 具有Execute权限的用户可执行存储过程。 操作步骤 登录管理控制台。 单击管理控制台左上角的，选择区域和项目。

查看更多 →

存储过程管理 新建存储过程 修改或执行存储过程 查看存储过程详情 删除存储过程 父主题： GaussDB(DWS)（即将下线）

查看更多 →