配置NameNode内存参数 配置场景 在HDFS中，每个文件对象都需要在NameNode中注册相应的信息，并占用一定的存储空间。随着文件数的增加，当原有的内存空间无法存储相应的信息时，需要修改内存大小的设置。 配置描述 参数入口： 请参考修改集群服务配置参数，进入HDFS“全部配置”页面。

查看更多 →

在“实例管理”页面，选择目标实例名称。 在左侧导航栏选择“内存加速”，单击“创建GeminiDB实例”。 填写并选择实例相关信息后，单击“提交”，完成实例创建。 表1 基本信息 参数 描述 GeminiDB实例规格 实例的CPU和内存，详细规格见表2。 数据库端口 数据库的访问端口号。 GeminiDB

查看更多 →

PMS进程占用内存高 用户问题 主Master节点内存使用率高如何处理？ 问题现象 主Master节点内存使用率高，且用top -c命令查询的内存占用量高的是如下idle的进程。 原因分析 PostgreSQL缓存：除了常见的执行计划缓存、数据缓存，PostgreSQL为了提高生

查看更多 →

业务发生踩内存导致内存节点控制头被踩，长时间后才触发业务异常，业务逻辑复杂，难以定位发生踩内存的位置。开启该功能后，在动态内存申请接口中增加内存合法性检查，对动态内存池中所有节点控制头的合法性进行检查，若已发生动态内存节点被踩，及时触发异常，输出error信息，缩小问题定位范围。通过make menuconfig打开内存合法性检查。功能依

查看更多 →

获取系统内存大小 接口名称 WEB_GetSystemMemSizeAPI(后续废弃) 功能描述 获取系统内存大小 应用场景 获取系统内存大小 URL https://ip/action.cgi?ActionID=WEB_GetSystemMemSizeAPI 参数 无 返回值 表1

查看更多 →

Spark Core内存调优 操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-default

查看更多 →

Windows虚拟内存设置 仅Windows Server 2012 R2和Windows Server 2016需要设置虚拟内存。 裸金属 服务器 的内存很大，自动分配的虚拟内存会占用大量的系统盘空间，影响系统性能。建议在镜像制作过程中关闭虚拟内存或者设置上限。具体操作如下： 登录Windows虚拟机操作系统。

查看更多 →

配置NameNode内存参数 配置场景 在HDFS中，每个文件对象都需要在NameNode中注册相应的信息，并占用一定的存储空间。随着文件数的增加，当原有的内存空间无法存储相应的信息时，需要修改内存大小的设置。 配置描述 参数入口： 请参考修改集群服务配置参数，进入HDFS“全部配置”页面。

查看更多 →

在“实例管理”页面，选择目标实例名称。 在左侧导航栏选择“内存加速”，单击“创建GeminiDB实例”。 填写并选择实例相关信息后，单击“提交”，完成实例创建。 表1 基本信息 参数 描述 GeminiDB实例规格 实例的CPU和内存，详细规格见表2。 数据库端口 数据库的访问端口号。 GeminiDB

查看更多 →

Knox进程占用内存高 用户问题 knox进程占用内存高。 问题现象 主Master节点内存使用率高，用top -c命令查看到占用内存较高的进程中有knox进程，且此进程占用内存超过4 GB。 原因分析 knox进程没有单独配置内存，进程会自动根据系统内存大小按照比例划分可用内存，导致knox占用内存大。

查看更多 →

考表1，为保证负载稳定运行，建议负载使用的对象存储卷数量不超过其申请的内存GiB数量，如负载的申请的内存规格为4GiB，则建议其使用的对象存储数不超过4。 表1 单个对象存储常驻进程内存消耗 测试项目 内存消耗 长稳运行 约50m 2并发写10M文件 约110m 4并发写10M文件

查看更多 →

考表1，为保证负载稳定运行，建议负载使用的对象存储卷数量不超过其申请的内存GiB数量，如负载的申请的内存规格为4GiB，则建议其使用的对象存储数不超过4。 表1 单个对象存储常驻进程内存消耗 测试项目 内存消耗 长稳运行 约50m 2并发写10M文件 约110m 4并发写10M文件

查看更多 →

通过异常信息定位问题，参见问题定位实例。

查看更多 →

任务增量步进，与memoryStep共同决定内存调整量。 不能为空且大于零。 memoryStep 内存增量步进，在“yarn.app.mapreduce.am.resource.mb”配置的基础上对内存向上调整。 不能为空且大于零，单位：MB。 minMemory 内存自动调整下限，若调整后的内存不大于该值，仍保持“yarn

查看更多 →

内存使用超限风险与优化 RDS for MySQL内存说明 RDS for MySQL的内存大体可以分为GLOBAL级的共享内存和SESSION级的私有内存两部分： 共享内存是实例创建时根据参数值分配的内存空间，并且是所有连接共享的。 私有内存用于每个连接到MySQL服务器时才分配各自的缓存，且只有断开连接才会释放。

查看更多 →

maxServerGroups Integer 服务器组的最大个数。 maxServerGroupMembers Integer 服务器组中的最大弹性云服务器数。 totalServerGroupsUsed Integer 已使用的服务器组个数。 maxSecurityGroups Integer

查看更多 →

使用free命令查看 弹性云服务器 的内存，为什么与实际不符？ 问题描述 弹性 云服务器 创建成功后，使用free -m命令查询内存大小，查询结果与实际配置不符，较之创建时的配置要小一些。 示例： 假设创建该弹性云服务器时，配置的实际内存大小为4194304KB（即4096MB）。创建完成后，使用free

查看更多 →

单选、多选、判断 90 min 600/1000 200USD 考试内容 华为认证大数据工程师HCIA-Big Data V3.0考试覆盖：（1）大数据行业的发展趋势，大数据特点以及华为鲲鹏大数据等； （2）常用且重要大数据组件基础技术原理（包括HBase, Hive, Loader, MapReduce

查看更多 →

并行计算：使用并行计算框架，如Apache Spark、Apache Flink等，将计算任务分配到多个节点上并行执行，以提高计算速度和效率。 内存优化：通过调整内存分配和使用策略，如使用内存缓存、内存映射等技术，以提高数据处理和计算的速度和效率。 负载均衡：通过负载均衡技术，将数据和计算任务均匀地分配到多个节点

查看更多 →

大数据-Hive Metastore凭证文件获取方法 参考访问 FusionInsight Manager登录Manager，进入系统页面。 在左侧导航栏，选择“权限>用户”，进入用户页面。 在用户列表，选择要在Edge添加凭证的用户，单击操作列“更多>下载认证凭据”，可以下载凭证文件中的krb5

查看更多 →

physical中的“physical”表示该规格为标准共池裸金属实例。 如何查看我选择的弹性云服务器规格 在您创建弹性云服务器时，可以在规格列表中查看弹性云服务器规格配置。 图2 弹性云服务器规格 vCPU 弹性云服务器的处理器运用超线程HT（Hyper-Threading）技术，允许在CPU

查看更多 →