合并CBO优化 操作场景 Spark SQL默认支持基于规则的优化，但仅仅基于规则优化不能保证Spark选择合适的查询计划。CBO（Cost-Bsed Optimizer）是一种为SQL智能选择查询计划的技术。通过配置开启CBO后，CBO优化器可以基于表和列的统计信息，进行一系列的估算，最终选择出合适的查询计划。

查看更多 →

小文件优化 操作场景 Spark SQL表中，经常会存在很多小文件（大小远小于HDFS的块大小），每个小文件默认对应Spark中的一个Partition，即一个Task。在有很多小文件时，Spark会启动很多Task，此时当SQL逻辑中存在Shuffle操作时，会大大增加hash分桶数，严重影响系统性能。

查看更多 →

可以优化的场景总数，成本优化的场景分为资源优化和计费模式优化两大类。 资源优化包含： 空闲“云主机”资源优化 EIP闲置实例优化 EVS闲置实例优化 ELB闲置实例优化 计费模式优化包含： 按需转包年包月建议覆盖全部产品类型 资源包购买建议覆盖全部产品类型 可优化资源数量 需要优化的资源总数。 预计月度可节省成本 所

查看更多 →

e1.8xlarge 表2 E2型 弹性云服务器 的规格 分类 pCPUs 内存 (GB) 规格名称 超大内存型 12 256 e2.3xlarge 表3 ET2型弹性 云服务器 的规格 分类 vCPUs 内存 (GB) 规格名称 超大内存型 8 128 et2.2xlarge.16 18

查看更多 →

如果要从根本上解决内存不足的问题，需要对 服务器 内存进行扩容，扩大内存空间。如果不具备扩容的条件，可通过优化应用程序，以及配置使用大页内存来进行缓解。 带宽使用率高问题分析 如果是正常业务访问以及正常应用进程导致的带宽使用率高，需要升级服务器的带宽进行解决。如果是非正常访问，如某些特

查看更多 →

表3 E3型服务器磁盘格式要求（集群） 磁盘 类型 共享方式 大小 OS卷 “超高IO(时延优化)” 非共享盘 - Log卷 “超高IO(时延优化)” 共享盘(S CS I接口) 当内存小于或等于512GB时，Log卷的大小为内存的一半，如果数值存在小数位时向上取整。 当内存大于512GB时，Log卷的大小为512GB。

查看更多 →

禁止使用del命令直接删除大Key 使用del命令直接删除大Key（主要是集合类型）会导致节点阻塞，影响后续请求。 强制 Redis 4.0后的版本可以通过UNLINK命令安全地删除大Key，该命令是异步非阻塞的。 对于Redis 4.0之前的版本： 如果是Hash类型的大Key，推荐使用hscan

查看更多 →

通用算法优化 风险等级 中 关键策略 算法优化是提高程序性能的关键，可以通过改进算法的设计和实现方式来提高其效率和性能。以下是一些最佳实践： 使用正确的数据结构：选择合适的数据结构可以大辐提高算法的效率。例如，使用哈希表可以快速查找元素，使用数组可以快速访问元素。 减少内存分配：内

查看更多 →

如果要从根本上解决内存不足的问题，需要对服务器内存进行扩容，扩大内存空间。如果不具备扩容的条件，可通过优化应用程序，以及配置使用大页内存来进行缓解。 带宽使用率高问题分析 如果是正常业务访问以及正常应用进程导致的带宽使用率高，需要升级服务器的带宽进行解决。如果是非正常访问，如某些特

查看更多 →

新特性及性能优化： 增加Showclients功能。 优化内存使用。 2020-03-30 新特性及性能优化： 支持大Key检测。 支持自动Compact资源使用优化。 增加无损升级功能。 2020-02-09 新特性及性能优化： Cache使用优化。 Copy导出时长优化。 2019-12-06

查看更多 →

如果要从根本上解决内存不足的问题，需要对服务器内存进行扩容，扩大内存空间。如果不具备扩容的条件，可通过优化应用程序，以及配置使用大页内存来进行缓解。 带宽使用率高问题分析 如果是正常业务访问以及正常应用进程导致的带宽使用率高，需要升级服务器的带宽进行解决。如果是非正常访问，如某些特

查看更多 →

Task中从本地磁盘或者Distributed Cache中读取小表内容直接与大表join得到结果并输出。 使用Map Join时需要注意小表不能过大，如果小表将内存基本用尽，会使整个系统性能下降甚至出现内存溢出的异常。 Sort Merge Bucket Map Join 使用Sort

查看更多 →

业务代码中出现踩内存、释放野指针问题，通过异常dump信息较难定位内存非法操作的位置。备份动态内存节点控制头信息：在前一内存节点控制头中备份当前节点控制头信息。在内存申请和释放操作中增加对当前节点的控制头信息与备份信息的检测，在节点控制头被踩而备份信息未踩时，输出节点控制头备份信息及被踩节点前一内存节点信息，用于进一步分析是否为越界踩内存

查看更多 →

业务运行中发生内存泄露，业务逻辑复杂或者长时间运行才出现。申请内存和释放申请时，在内存节点控制头中记录函数调用栈，发生内存泄露时，通过分析used节点信息，可定位疑似内存泄露的位置。目前只有bestfit内存管理算法支持该功能，需要使能LOSCFG_KERNEL_MEM_BESTFIT。Kernel ---> Memory Managem

查看更多 →

内存加速概述 内存加速是GeminiDB Redis为了优化“传统被动缓存方案”而推出的功能，它可以让用户通过界面配置规则的形式，自动缓存MySQL的数据，加速MySQL的访问。 如下图图1所示，“传统被动缓存方案”需要用户自行开发代码把MySQL中的数据写入到缓存中，存在效率低

查看更多 →

20 其中各字段分别为：输出顺序号、线程内分配内存上下文的顺序号、当前内存上下文的名称、父内存上下文的输出顺序号、父内存上下文的名称、内存上下文树形层次级别号、当前内存上下文使用的内存峰值、当前内存上下文及其所有子内存上下文使用的内存峰值、当前线程所在query的plannodeid。

查看更多 →

内存管理函数 内存管理函数仅9.1.0及以上集群版本支持。 pg_shared_chunk_detail(contextname char(64)) 描述：查询指定共享内存下内存上下文申请的所有chunk信息。 参数contextname，表示内存上下文名称。 使用该函数需先使用

查看更多 →

Task中从本地磁盘或者distributed cache中读取小表内容直接与大表join得到结果并输出。 使用Map Join时需要注意小表不能过大，如果小表将内存基本用尽，会使整个系统性能下降甚至出现内存溢出的异常。 Sort Merge Bucket Map Join 使用Sort

查看更多 →

阶段 相关文档 1 上线通用计算增强型c7、c7_pro，内存优化型m7规格 通用计算增强型新增c7、c7_pro规格，可用于部署C7型云服务器。 内存优化型新增m7规格，可用于部署M7型云服务器。 商用 通用计算增强型 内存优化型 2017年6月 序号 功能名称 功能描述 阶段 相关文档

查看更多 →

4.2 4.4 DDS 3.4 4.0 4.2 4.4 DDS数据库版本升级 DRS仅支持从低版本迁移到高版本。 升级时的规格变更过程，会有2次主备切换和2次闪断，规格变更之后请检查DRS任务。 大版本升级后，如果需要保证迁移前后实例的IP地址不变，可以修改高版本的IP地址为原来

查看更多 →

减少对内存碎片影响，在NPU上常见的非连续转连续操作，就是一个相对GPU来说较多的内存申请。 显存优化策略 由于大模型的参数成倍数的增长，远超出了单GPU物理显存所能承载的范围，大模型训练必然需要进行显存优化。显存优化要么是优化算法本身，降低模型算法的显存消耗；要么是去扩大显存，

查看更多 →