Spark Core内存调优 操作场景 并行度控制任务的数量，影响shuffle操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到合适。 查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行度

查看更多 →

在“实例管理”页面，选择目标实例名称。 在左侧导航栏选择“内存加速”，单击“创建GeminiDB实例”。 填写并选择实例相关信息后，单击“提交”，完成实例创建。 表1 基本信息 参数 描述 GeminiDB实例规格 实例的CPU和内存，详细规格见表2。 数据库端口 数据库的访问端口号。 GeminiDB

查看更多 →

PMS进程占用内存高 用户问题 主Master节点内存使用率高如何处理？ 问题现象 主Master节点内存使用率高，且用top -c命令查询的内存占用量高的是如下idle的进程。 原因分析 PostgreSQL缓存：除了常见的执行计划缓存、数据缓存，PostgreSQL为了提高生

查看更多 →

降低内存的处理方案 如果当前集群内存负载较高，或出现“memory is temporary unavailable”内存报错，首先利用日志信息确定内存异常节点，然后连接到该节点查询pv_total_memory_detail视图确认当前是否还存在内存不足问题，可比较proces

查看更多 →

优化Flink内存GC参数 操作场景 Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的YARN的Container

查看更多 →

Spark Core内存调优 操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-default

查看更多 →

配置NameNode内存参数 配置场景 在HDFS中，每个文件对象都需要在NameNode中注册相应的信息，并占用一定的存储空间。随着文件数的增加，当原有的内存空间无法存储相应的信息时，需要修改内存大小的设置。 配置描述 参数入口： 请参考修改集群服务配置参数，进入HDFS“全部配置”页面。

查看更多 →

获取系统内存大小 接口名称 WEB_GetSystemMemSizeAPI(后续废弃) 功能描述 获取系统内存大小 应用场景 获取系统内存大小 URL https://ip/action.cgi?ActionID=WEB_GetSystemMemSizeAPI 参数 无 返回值 表1

查看更多 →

业务发生踩内存导致内存节点控制头被踩，长时间后才触发业务异常，业务逻辑复杂，难以定位发生踩内存的位置。开启该功能后，在动态内存申请接口中增加内存合法性检查，对动态内存池中所有节点控制头的合法性进行检查，若已发生动态内存节点被踩，及时触发异常，输出error信息，缩小问题定位范围。通过make menuconfig打开内存合法性检查。功能依

查看更多 →

Spark Core内存调优 操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-default

查看更多 →

配置NameNode内存参数 配置场景 在HDFS中，每个文件对象都需要在NameNode中注册相应的信息，并占用一定的存储空间。随着文件数的增加，当原有的内存空间无法存储相应的信息时，需要修改内存大小的设置。 配置描述 参数入口： 请参考修改集群服务配置参数，进入HDFS“全部配置”页面。

查看更多 →

单击“高级”页签，在“虚拟内存”区域单击“更改”。 弹出“虚拟内存”对话框。 图1 “虚拟内存”对话框 清除勾选“自动管理所有驱动器的分页文件大小”。 如果需要关闭虚拟内存，请选择“无分页文件”；如果需要为虚拟内存设置上限，选择“自定义大小”，建议将虚拟内存最大值设置在2G以内。

查看更多 →

Knox进程占用内存高 用户问题 knox进程占用内存高。 问题现象 主Master节点内存使用率高，用top -c命令查看到占用内存较高的进程中有knox进程，且此进程占用内存超过4 GB。 原因分析 knox进程没有单独配置内存，进程会自动根据系统内存大小按照比例划分可用内存，导致knox占用内存大。

查看更多 →

在“实例管理”页面，选择目标实例名称。 在左侧导航栏选择“内存加速”，单击“创建GeminiDB实例”。 填写并选择实例相关信息后，单击“提交”，完成实例创建。 表1 基本信息 参数 描述 GeminiDB实例规格 实例的CPU和内存，详细规格见表2。 数据库端口 数据库的访问端口号。 GeminiDB

查看更多 →

=512m”（Linux） 内存调整需根据 服务器 内存大小、操作系统版本、WEB服务器版本、JDK版本和实际使用情况进行调整，在64bit环境下分配8G内存。 注意：某些JDK版本或操作系统限制最大堆内存，不支持分配超过1.5G的内存，如果有充足的内存，可以多建立几个节点集群成员，逐一对每个成员做相应的修改。

查看更多 →

默认的Maven配置文件settings.xml配置参考 请参考此章节说明中的settings.xml文件配置参考中的配置，若要使用参考配置，可以在“用户路径/.m2”文件夹下，新建或替换settings.xml文件，Java语言服务会默认读取此路径下的maven配置文件。 也可以自定义此settings

查看更多 →

site.xml。 Yarn客户端配置文件路径：客户端安装目录/HDFS/hadoop/etc/hadoop/yarn-site.xml。 MapReduce客户端配置文件路径：客户端安装目录/HDFS/hadoop/etc/hadoop/mapred-site.xml。 表1 多CPU内核设置

查看更多 →

ALM-50223 BE所需最大内存大于机器剩余可用内存 告警解释 系统每30秒周期性检查BE所需最大内存是否大于机器剩余可用内存，当检查到该值不等于1（1表示小于等于，0表示大于）时产生该告警。 BE所需最大内存小于等于机器剩余可用内存时，告警清除。 告警属性 告警ID 告警级别

查看更多 →

变更实例的CPU和内存规格 操作场景 CPU/内存规格可根据业务需要进行变更，当实例的状态由“规格变更中”变为“正常”，则说明变更成功。 约束限制 账户余额大于等于0元，才可变更规格。 当实例进行CPU/内存规格变更时，该实例不可被删除。 当实例进行CPU/内存规格变更时，不能对

查看更多 →

MapReduce任务长时间无进展 问题 MapReduce任务长时间无进展。 回答 一般是因为内存太少导致的。当内存较小时，任务中拷贝map输出的时间将显著增加。 为了减少等待时间，您可以适当增加堆内存空间。 任务的配置可根据mapper的数量和各mapper的数据大小来进行优化。根据输

查看更多 →

MapReduce任务长时间无进展 问题 MapReduce任务长时间无进展。 回答 一般是因为内存太少导致的。当内存较小时，任务中拷贝map输出的时间将显著增加。 为了减少等待时间，您可以适当增加堆内存空间。 任务的配置可根据mapper的数量和各mapper的数据大小来进行优化。根据输

查看更多 →