Spark Core内存调优 操作场景 并行度控制任务的数量，影响shuffle操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到合适。 查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行度

查看更多 →

优化Flink内存GC参数 操作场景 Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的YARN的Container

查看更多 →

Hudi在upsert时占用了临时文件夹中大量空间。 回答 当UPSERT大量输入数据时，如果数据量达到合并的最大内存时，Hudi将溢出部分输入数据到磁盘。 如果有足够的内存，请增加spark executor的内存和添加“hoodie.memory.merge.fraction”选项，如： option("hoodie

查看更多 →

0T的TPCDS测试套会出现内存不足的现象 问题 在Driver内存配置为10G时，Beeline/JD BCS erver模式下连续运行10T的TPCDS测试套，会出现因为Driver内存不足导致SQL语句执行失败的现象。 回答 当前在默认配置下，在内存中保留的Job和Stage的UI数据个数为1000个。

查看更多 →

当表的条数过多时，作业会划分较多的分片，从而占用过多的内存导致内存问题，请解决表的条数适当调整该值。 当scan.incremental.snapshot.backfill.skip为false时，实时处理集成作业会缓存单个分片的数据，此时分片越大，占用内存越多，引发内存溢出，在此场景下，可以考虑降低分片大小。

查看更多 →

变更E CS 规格（vCPU和内存） 变更单台ECS规格 批量变更多台ECS规格 通过性能助手变更ECS规格 XEN实例变更为KVM实例（Windows） XEN实例变更为KVM实例（Linux-自动配置） XEN实例变更为KVM实例（Linux-手动配置） XEN实例变更为KVM实例（Linux-批量自动配置）

查看更多 →

业务发生踩内存导致内存节点控制头被踩，长时间后才触发业务异常，业务逻辑复杂，难以定位发生踩内存的位置。开启该功能后，在动态内存申请接口中增加内存合法性检查，对动态内存池中所有节点控制头的合法性进行检查，若已发生动态内存节点被踩，及时触发异常，输出error信息，缩小问题定位范围。通过make menuconfig打开内存合法性检查。功能依

查看更多 →

获取系统内存大小 接口名称 WEB_GetSystemMemSizeAPI(后续废弃) 功能描述 获取系统内存大小 应用场景 获取系统内存大小 URL https://ip/action.cgi?ActionID=WEB_GetSystemMemSizeAPI 参数 无 返回值 表1

查看更多 →

配置NameNode内存参数 配置场景 在HDFS中，每个文件对象都需要在NameNode中注册相应的信息，并占用一定的存储空间。随着文件数的增加，当原有的内存空间无法存储相应的信息时，需要修改内存大小的设置。 配置描述 参数入口： 请参考修改集群服务配置参数，进入HDFS“全部配置”页面。

查看更多 →

Knox进程占用内存高 用户问题 knox进程占用内存高。 问题现象 主Master节点内存使用率高，用top -c命令查看到占用内存较高的进程中有knox进程，且此进程占用内存超过4 GB。 原因分析 knox进程没有单独配置内存，进程会自动根据系统内存大小按照比例划分可用内存，导致knox占用内存大。

查看更多 →

Spark Core内存调优 操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-default

查看更多 →

Windows虚拟内存设置 仅Windows Server 2012 R2和Windows Server 2016需要设置虚拟内存。 裸金属 服务器 的内存很大，自动分配的虚拟内存会占用大量的系统盘空间，影响系统性能。建议在镜像制作过程中关闭虚拟内存或者设置上限。具体操作如下： 登录Windows虚拟机操作系统。

查看更多 →

当表的条数过多时，作业会划分较多的分片，从而占用过多的内存导致内存问题，请解决表的条数适当调整该值。 当scan.incremental.snapshot.backfill.skip为false时，实时处理集成作业会缓存单个分片的数据，此时分片越大，占用内存越多，引发内存溢出，在此场景下，可以考虑降低分片大小。

查看更多 →

Hudi在upsert时占用了临时文件夹中大量空间。 回答 当UPSERT大量输入数据时，如果数据量达到合并的最大内存时，Hudi将溢出部分输入数据到磁盘。 如果有足够的内存，请增加spark executor的内存和添加“hoodie.memory.merge.fraction”选项，如： option("hoodie

查看更多 →

GaussDB 支持动态内存管理吗？ 答：支持。动态内存使用方法均基于内存上下文管理，在内存上下文的机制上，引入了逻辑内存管理机制，同时提供多项视图追踪内存使用情况。当前GaussDB Kernel的内存管理分为两级，分别是： 内存节点级别控制：通过max_process_memory参数限制DN上可以使用的内存上限。

查看更多 →

GaussDB支持动态内存管理吗？ 答：支持。动态内存使用方法均基于内存上下文管理，在内存上下文的机制上，引入了逻辑内存管理机制，同时提供多项视图追踪内存使用情况。当前GaussDB Kernel的内存管理分为两级，分别是： 内存节点级别控制：通过max_process_memory参数限制DN上可以使用的内存上限。

查看更多 →

函数内存超限返回“runtime memory limit exceeded”，如何查看内存占用大小？ 请在函数请求返回界面查看。 图1 查看oom内存大小 父主题： 函数执行

查看更多 →

为什么函数实际使用内存大于预估内存，甚至触发OOM？ 函数调用过程中，运行时会解析和缓存传入的event事件, 这部分操作会消耗额外的内存。 函数调用结束后，回收的内存首先会放入内部内存池中，并不一定归还给操作系统，导致内存偏高，在高并发场景下这种现象会更加明显。 父主题： 函数执行

查看更多 →

ALM-50223 BE所需最大内存大于机器剩余可用内存 告警解释 系统每30秒周期性检查BE所需最大内存是否大于机器剩余可用内存，当检查到该值不等于1（1表示小于等于，0表示大于）时产生该告警。 BE所需最大内存小于等于机器剩余可用内存时，告警清除。 告警属性 告警ID 告警级别

查看更多 →

在“数据库信息 > 性能规格”区域，单击“规格变更”，进入“规格变更”页面。 图1 规格变更 选择所需变更后的性能规格，单击“下一步”。 图2 规格变更 在确认页面，确认性能规格。 包年/包月 如需重新选择，单击“上一步”，修改性能规格。 核对无误后，单击“提交订单”，开始变更规格。对于扩大规

查看更多 →

“更多 > 规格变更”。 图3 规格变更 进入“规格变更”页面，选择需要变更的性能规格，单击“下一步”。 图4 规格变更 在规格确认页面，确认性能规格。 包年/包月 如需重新选择，单击“上一步”，修改性能规格。 核对无误后，单击“提交订单”，开始变更规格。对于扩大规格的操作，您需

查看更多 →