Spark Core内存调优 操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-default

查看更多 →

配置NameNode内存参数 配置场景 在HDFS中，每个文件对象都需要在NameNode中注册相应的信息，并占用一定的存储空间。随着文件数的增加，当原有的内存空间无法存储相应的信息时，需要修改内存大小的设置。 配置描述 参数入口： 请参考修改集群服务配置参数，进入HDFS“全部配置”页面。

查看更多 →

PMS进程占用内存高 用户问题 主Master节点内存使用率高如何处理？ 问题现象 主Master节点内存使用率高，且用top -c命令查询的内存占用量高的是如下idle的进程。 原因分析 PostgreSQL缓存：除了常见的执行计划缓存、数据缓存，PostgreSQL为了提高生

查看更多 →

怎样配置Windows弹性云 服务器 的虚拟内存？ 开启弹性云服务器的虚拟内存后，会导致内存I/O性能下降。当弹性云服务器内存不足时，建议通过变更规格操作来扩大内存。若因业务需要，必须开启虚拟内存，请参见本节内容进行配置。 内存使用率已经非常高，同时I/O性能也不是很好的情况下，如果配置虚拟内存会起到反

查看更多 →

节点池一直在扩容中但“操作记录”里为何没有创建节点的记录？ 问题现象 节点池的状态一直处于“扩容中”，但是“操作记录”里面没有看到有对应创建节点的记录。 原因排查： 检查如下问题并修复： 租户是否欠费。 查看节点池配置的规格是否资源不足。 租户的E CS 或内存配额是否不足。 如果一

查看更多 →

CN：2GB（60核CPU/480G内存）；1GB（32核CPU/256G内存，16核CPU/128G内存）；512MB（8核CPU/64G内存）；256MB（4核CPU/32G内存）；128MB（4核CPU/16G内存） DN：70GB（60核CPU/480G内存）；38GB（32核CPU

查看更多 →

主要使用在受计算限制的高性能处理器的应用程序上。它需要更多处理器核数、大量的内存和高吞吐量的存储系统。该规格使用V5 CPU服务器，并结合IB网卡，适用于HPC高性能计算等场景。 表4 高性能计算型规格详情 规格名称/ID CPU 内存 本地磁盘 扩展配置 physical.h2.large 2*18

查看更多 →

Spark Core内存调优 操作场景 并行度控制任务的数量，影响shuffle操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到合适。 查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行度

查看更多 →

优化Flink内存GC参数 操作场景 Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的YARN的Container

查看更多 →

部分Receiver启动以后，系统已经没有资源去运行计算任务，导致第一个任务一直在等待，后续任务一直在排队。从现象上看，就是如问题中的图1中所示，会有两个任务一直在等待。 因此，当Web出现两个任务一直在等待的情况，首先检查Spark的核数是否大于Receiver的个数。 Receiver在Spark

查看更多 →

部分Receiver启动以后，系统已经没有资源去运行计算任务，导致第一个任务一直在等待，后续任务一直在排队。从现象上看，就是如问题中的图1中所示，会有两个任务一直在等待。 因此，当Web出现两个任务一直在等待的情况，首先检查Spark的核数是否大于Receiver的个数。 Receiver在Spark

查看更多 →

变更集群实例的CPU和内存 添加副本集实例的节点数量 变更副本集实例的CPU和内存 变更单节点实例的CPU和内存

查看更多 →

TaurusDB标准版数据库内存使用率过高怎么处理 对于用户核心业务相关的库 请扩容实例规格，具体请参见变更TaurusDB标准版实例的CPU和内存规格。 对于非用户核心业务相关的库 查看本地计算机的内存使用率，如果使用率曲线持续平缓，则无需处理。 对于用户核心业务相关但是数据库规格配置很高的库 在

查看更多 →

擎，具有很高的随机写，顺序读/写性能，适合应用在写多读少的场景。其内部没有设计成C/S网络结构，使用时必须和服务部署在同一台服务器，对于服务的部署、使用有较大的限制。相比于在LevelDB基础上开发的RocksDB, LevelDB存在较多缺点，如无法很好的使用多核服务器的计算性

查看更多 →

取值范围：浮点型，0～10000。 默认值：4 虽然服务器允许将random_page_cost设置的比seq_page_cost小，但是物理上实际不受影响。如果所有数据库都位于随机访问内存中时，两者设置为相等很合理。因为在此种情况下，非顺序抓取页并没有副作用。同样，在缓冲率很高的数据库上，应该相对于CP

查看更多 →

TaurusDB标准版数据库内存使用率过高怎么处理 对于用户核心业务相关的库 请扩容实例规格，具体请参见变更TaurusDB标准版实例的CPU和内存规格。 对于非用户核心业务相关的库 查看本地计算机的内存使用率，如果使用率曲线持续平缓，则无需处理。 对于用户核心业务相关但是数据库规格配置很高的库 在

查看更多 →

temporarily unavailable" SQLSTATE: 53200 错误原因：集群负载太高导致内存不足，申请内存时，无法满足需求，则报该错误。 解决办法：确定内存占用较高的节点，排查业务，找到不下推的语法或函数，或降低客户端并发度。 父主题： GAUSS-04301 -- GAUSS-04400

查看更多 →

业务发生踩内存导致内存节点控制头被踩，长时间后才触发业务异常，业务逻辑复杂，难以定位发生踩内存的位置。开启该功能后，在动态内存申请接口中增加内存合法性检查，对动态内存池中所有节点控制头的合法性进行检查，若已发生动态内存节点被踩，及时触发异常，输出error信息，缩小问题定位范围。通过make menuconfig打开内存合法性检查。功能依

查看更多 →

获取系统内存大小 接口名称 WEB_GetSystemMemSizeAPI(后续废弃) 功能描述 获取系统内存大小 应用场景 获取系统内存大小 URL https://ip/action.cgi?ActionID=WEB_GetSystemMemSizeAPI 参数 无 返回值 表1

查看更多 →

配置NameNode内存参数 配置场景 在HDFS中，每个文件对象都需要在NameNode中注册相应的信息，并占用一定的存储空间。随着文件数的增加，当原有的内存空间无法存储相应的信息时，需要修改内存大小的设置。 配置描述 参数入口： 请参考修改集群服务配置参数，进入HDFS“全部配置”页面。

查看更多 →

Knox进程占用内存高 用户问题 knox进程占用内存高。 问题现象 主Master节点内存使用率高，用top -c命令查看到占用内存较高的进程中有knox进程，且此进程占用内存超过4 GB。 原因分析 knox进程没有单独配置内存，进程会自动根据系统内存大小按照比例划分可用内存，导致knox占用内存大。

查看更多 →