逐渐减低。 触发Elasticsearch自动创建index时，创建速度变慢会导致大量写入请求堆积在内存中，严重时可导致集群崩溃。 分片过多时，如果不能及时掌控业务的变化，可能经常遇到单分片记录超限、写入拒绝等问题。 父主题： CSS 集群搜索引擎使用

查看更多 →

降低内存的处理方案 如果当前集群内存负载较高，或出现“memory is temporary unavailable”内存报错，首先利用日志信息确定内存异常节点，然后连接到该节点查询pv_total_memory_detail视图确认当前是否还存在内存不足问题，可比较proces

查看更多 →

优化Flink内存GC参数 操作场景 Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的YARN的Container

查看更多 →

Spark Core内存调优 操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-default

查看更多 →

配置NameNode内存参数 配置场景 在HDFS中，每个文件对象都需要在NameNode中注册相应的信息，并占用一定的存储空间。随着文件数的增加，当原有的内存空间无法存储相应的信息时，需要修改内存大小的设置。 配置描述 参数入口： 请参考修改集群服务配置参数，进入HDFS“全部配置”页面。

查看更多 →

多版本并发控制或“快照”读取等功能。 事务：均需满足ACID的要求，提供事务状态查询等功能。 内存缓存：不同存储引擎在访问索引和数据时一般会对其进行缓存。缓存池允许直接从内存中处理经常使用的数据，从而加快了处理速度。。 检查点：不同存储引擎一般都支持增量checkpoint/double

查看更多 →

多版本并发控制或“快照”读取等功能。 事务：均需满足ACID的要求，提供事务状态查询等功能。 内存缓存：不同存储引擎在访问索引和数据时一般会对其进行缓存。缓存池允许直接从内存中处理经常使用的数据，从而加快了处理速度。 检查点：不同存储引擎一般都支持增量checkpoint/double

查看更多 →

多版本并发控制或“快照”读取等功能。 事务：均需满足ACID的要求，提供事务状态查询等功能。 内存缓存：不同存储引擎在访问索引和数据时一般会对其进行缓存。缓存池允许直接从内存中处理经常使用的数据，从而加快了处理速度。 检查点：不同存储引擎一般都支持增量checkpoint/double

查看更多 →

获取系统内存大小 接口名称 WEB_GetSystemMemSizeAPI(后续废弃) 功能描述 获取系统内存大小 应用场景 获取系统内存大小 URL https://ip/action.cgi?ActionID=WEB_GetSystemMemSizeAPI 参数 无 返回值 表1

查看更多 →

业务发生踩内存导致内存节点控制头被踩，长时间后才触发业务异常，业务逻辑复杂，难以定位发生踩内存的位置。开启该功能后，在动态内存申请接口中增加内存合法性检查，对动态内存池中所有节点控制头的合法性进行检查，若已发生动态内存节点被踩，及时触发异常，输出error信息，缩小问题定位范围。通过make menuconfig打开内存合法性检查。功能依

查看更多 →

Spark Core内存调优 操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-default

查看更多 →

配置NameNode内存参数 配置场景 在HDFS中，每个文件对象都需要在NameNode中注册相应的信息，并占用一定的存储空间。随着文件数的增加，当原有的内存空间无法存储相应的信息时，需要修改内存大小的设置。 配置描述 参数入口： 请参考修改集群服务配置参数，进入HDFS“全部配置”页面。

查看更多 →

Knox进程占用内存高 用户问题 knox进程占用内存高。 问题现象 主Master节点内存使用率高，用top -c命令查看到占用内存较高的进程中有knox进程，且此进程占用内存超过4 GB。 原因分析 knox进程没有单独配置内存，进程会自动根据系统内存大小按照比例划分可用内存，导致knox占用内存大。

查看更多 →

Windows虚拟内存设置 仅Windows Server 2012 R2和Windows Server 2016需要设置虚拟内存。 裸金属 服务器 的内存很大，自动分配的虚拟内存会占用大量的系统盘空间，影响系统性能。建议在镜像制作过程中关闭虚拟内存或者设置上限。具体操作如下： 登录Windows虚拟机操作系统。

查看更多 →

下方式优化作业迁移速度： 使用大规格 CDM 集群 不同规格的CDM集群网卡带宽、集群最大抽取并发数等有所差异。如果您有较高的迁移速度需求，或当前CDM集群的CPU使用率、磁盘使用率、内存使用率等指标经常在较高区间运行，建议您选用大规格的CDM集群规格进行数据迁移。 使用多个CDM集群

查看更多 →

Spark Core内存调优 操作场景 并行度控制任务的数量，影响shuffle操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到合适。 查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行度

查看更多 →

优化Flink内存GC参数 操作场景 Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的YARN的Container

查看更多 →

多版本并发控制或“快照”读取等功能。 事务：均需满足ACID的要求，提供事务状态查询等功能。 内存缓存：不同存储引擎在访问索引和数据时一般会对其进行缓存。缓存池允许直接从内存中处理经常使用的数据，从而加快了处理速度。 检查点：不同存储引擎一般都支持增量checkpoint/double

查看更多 →

追溯是维护工作的基本能力，维护工作中经常需要通过追溯排查问题、评估风险。 例如追溯出现问题的内存，需要先根据内存批次信息手工转换成采购商SN，然后手工分段查询当前状态，不仅效率低，而且查不到故障件的历史装配关系，出现追溯遗漏。一般情况下，在服务器存储硬件维护中，每周都有2~3次追溯

查看更多 →

：CPU=20%，内存=20%，存储=1024000MB，并发=20。 交易用户资源配置（对应资源池pool_2）：CPU=60%，内存=60%，存储=1024000MB，并发=200。 设置单个语句最大内存使用量，超过使用量则报错退出，避免单个语句占用过多内存。 异常规则中设置

查看更多 →

使用MobaXterm工具SSH连接Notebook后，经常断开或卡顿，如何解决？ 问题现象 MobaXterm成功连接到开发环境后，过一段时间会自动断开。 可能原因 配置MobaXterm工具时，没有勾选“SSH keepalive”或专业版MobaXterm工具的“Stop server

查看更多 →