Spark Core内存调优 操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-default

查看更多 →

配置NameNode内存参数 配置场景 在HDFS中，每个文件对象都需要在NameNode中注册相应的信息，并占用一定的存储空间。随着文件数的增加，当原有的内存空间无法存储相应的信息时，需要修改内存大小的设置。 配置描述 参数入口： 请参考修改集群服务配置参数，进入HDFS“全部配置”页面。

查看更多 →

Windows虚拟内存设置 仅Windows Server 2012 R2和Windows Server 2016需要设置虚拟内存。 裸金属 服务器 的内存很大，自动分配的虚拟内存会占用大量的系统盘空间，影响系统性能。建议在镜像制作过程中关闭虚拟内存或者设置上限。具体操作如下： 登录Windows虚拟机操作系统。

查看更多 →

在“实例管理”页面，选择目标实例名称。 在左侧导航栏选择“内存加速”，单击“创建GeminiDB实例”。 填写并选择实例相关信息后，单击“提交”，完成实例创建。 表1 基本信息 参数 描述 GeminiDB实例规格 实例的CPU和内存，详细规格见表2。 数据库端口 数据库的访问端口号。 GeminiDB

查看更多 →

Knox进程占用内存高 用户问题 knox进程占用内存高。 问题现象 主Master节点内存使用率高，用top -c命令查看到占用内存较高的进程中有knox进程，且此进程占用内存超过4 GB。 原因分析 knox进程没有单独配置内存，进程会自动根据系统内存大小按照比例划分可用内存，导致knox占用内存大。

查看更多 →

部分Receiver启动以后，系统已经没有资源去运行计算任务，导致第一个任务一直在等待，后续任务一直在排队。从现象上看，就是如问题中的图1中所示，会有两个任务一直在等待。 因此，当Web出现两个任务一直在等待的情况，首先检查Spark的核数是否大于Receiver的个数。 Receiver在Spark

查看更多 →

降低内存的处理方案 如果当前集群内存负载较高，或出现“memory is temporary unavailable”内存报错，首先利用日志信息确定内存异常节点，然后连接到该节点查询pv_total_memory_detail视图确认当前是否还存在内存不足问题，可比较proces

查看更多 →

优化Flink内存GC参数 操作场景 Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的YARN的Container

查看更多 →

Spark Core内存调优 操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-default

查看更多 →

配置NameNode内存参数 配置场景 在HDFS中，每个文件对象都需要在NameNode中注册相应的信息，并占用一定的存储空间。随着文件数的增加，当原有的内存空间无法存储相应的信息时，需要修改内存大小的设置。 配置描述 参数入口： 请参考修改集群服务配置参数，进入HDFS“全部配置”页面。

查看更多 →

的故障管理，应用系统可减少对机房、电力、环境、计算服务器、存储设备、网络交换机等基础设施的故障模式的检测和恢复处理，但仍需考虑这些基础设施故障对应用系统的影响及对应的恢复措施，如机房发生灾难(AZ或Region级灾难)、计算服务器故障/重启、使用本地硬盘时硬盘故障/亚健康、网络通

查看更多 →

优化Flink内存GC参数 操作场景 Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的YARN的Container

查看更多 →

Spark Core内存调优 操作场景 并行度控制任务的数量，影响shuffle操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到合适。 查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行度

查看更多 →

该节点触发限流的CPU利用率阈值，当同时超过内存利用率设定阈值条件时限流生效，不支持和内存利用率阈值同时为0，如果选择只限制CPU、内存中的其中一个，则另一个必须传值0。 内存利用率 该节点触发限流的内存利用率阈值，当同时超过CPU利用率设定阈值条件时限流生效，不支持和内存利用率阈值同时为0，如果选

查看更多 →

为什么控制台界面一直报错404等超时，服务器收不到请求？ 首先检查网络是否正常，其次尝试清空浏览器缓存，刷新界面。如谷歌浏览器，单击右上角的“缩略图标>更多工具>清除浏览器”，刷新页面后重新操作，如图1所示。 图1 清空浏览器缓存 父主题： 其他问题

查看更多 →

随着数据库支撑业务的波动， 用户可能会发现临时盘占用率突然或持续上升。为提高数据库的可用性，保障用户的业务正常运行， GaussDB (for MySQL)为实例提供了上限为500G的临时盘空间，且临时盘空间免费使用。 为防止临时盘占用持续不断上升，达到上限进而影响业务，建议用户根据查询到的磁盘使

查看更多 →

随着数据库支撑业务的波动， 用户可能会发现临时盘占用率突然或持续上升。为提高数据库的可用性，保障用户的业务正常运行，TaurusDB为实例提供了上限为500G的临时盘空间，且临时盘空间免费使用。 为防止临时盘占用持续不断上升，达到上限进而影响业务，建议用户根据查询到的磁盘使用情况尽快

查看更多 →

头显一直显示“等待连接中” 排查思路 检查头显是否连接到平台并获取可连接GPU服务器的EIP。 检查云服务器安全组是否放通对应端口。 操作步骤 在头显连接的时候，检查云服务器列表页的云服务器是否状态为正常，如图1所示。 如果云服务器状态由“闲置”变为“正常”，表示头显已连接至VR云渲游平台，请直接跳转至2。

查看更多 →

排查项二：集群开启CPU管理策略后变更节点规格 集群开启CPU管理策略（绑核）时，kubelet启动参数中会将CPU Manager的策略设置为static，允许为节点上具有某些资源特征的pod赋予增强的CPU亲和性和独占性。用户如果直接在E CS 控制台对CCE节点变更规格，会由于变更前后CPU信息不

查看更多 →

ALM-50223 BE所需最大内存大于机器剩余可用内存 告警解释 系统每30秒周期性检查BE所需最大内存是否大于机器剩余可用内存，当检查到该值不等于1（1表示小于等于，0表示大于）时产生该告警。 BE所需最大内存小于等于机器剩余可用内存时，告警清除。 告警属性 告警ID 告警级别

查看更多 →

为什么函数实际使用内存大于预估内存，甚至触发OOM？ 函数调用过程中，运行时会解析和缓存传入的event事件, 这部分操作会消耗额外的内存。 函数调用结束后，回收的内存首先会放入内部内存池中，并不一定归还给操作系统，导致内存偏高，在高并发场景下这种现象会更加明显。 父主题： 函数执行

查看更多 →