配置NameNode内存参数 配置场景 在HDFS中，每个文件对象都需要在NameNode中注册相应的信息，并占用一定的存储空间。随着文件数的增加，当原有的内存空间无法存储相应的信息时，需要修改内存大小的设置。 配置描述 参数入口： 请参考修改集群服务配置参数，进入HDFS“全部配置”页面。

查看更多 →

通过内存size检查定位问题，参见内存size检查。

查看更多 →

文件/目录数上限 10 HDFS中创建存储文件/目录数上限。“储存资源”选择“HDFS”时配置。 存储空间配额 500MB 配置当前租户使用的HDFS存储空间配额。“储存资源”选择“HDFS”时配置。 最小值为“1”，单位为MB或GB。 此参数值表示租户可使用的HDFS存储空间上限，不代表一定使用了这么多空间。

查看更多 →

的百分比或绝对值。 存储资源 为当前租户选择存储资源。 选择“HDFS”时，系统将分配存储资源。 不选择“HDFS”时，系统不会分配存储资源。 文件\目录数上限 配置文件和目录数量配额。 存储空间配额 配置当前租户使用的HDFS存储空间配额。 取值范围：当存储空间配额单位设置为M

查看更多 →

。 该问题是由于HDFS客户端运行时所需的内存超过了HDFS客户端设置的内存上限（默认为128MB）。可以通过修改“<客户端安装路径>/HDFS/component_env”中的“CLIENT_GC_OPTS”来修改HDFS客户端的内存上限。例如，需要设置该内存上限为1GB，则设置：

查看更多 →

配置HDFS用户访问HDFS文件权限 配置HDFS目录权限 默认情况下，某些HDFS的文件目录权限为777或者750，存在安全风险。建议您在安装完成后修改该HDFS目录的权限，增加用户的安全性。 在HDFS客户端中，使用具有HDFS管理员权限的用户，执行如下命令，将“/user”的目录权限进行修改。

查看更多 →

配置HDFS用户访问HDFS文件权限 配置HDFS目录权限 默认情况下，某些HDFS的文件目录权限为777或者750，存在安全风险。建议您在安装完成后修改该HDFS目录的权限，增加用户的安全性。 在HDFS客户端中，使用具有HDFS管理员权限的用户，执行如下命令，将“/user”的目录权限进行修改。

查看更多 →

OBS / HDFS / DLI GS_138110058 错误码： Invalid option %s. 解决方案：此上下文中的有效选项为：%s。 level： ERROR GS_138110072 错误码： Need type option for the server. 解决方案：此处的有效选项为：%s。

查看更多 →

HDFS访问OBS 功能简介 访问OBS过程为： 设置“fs.obs.access.key”和“fs.obs.secret.key”。 由此FileSystem实例可以读取、新增和删除各类资源。 不支持追加操作。 前提条件 对接OBS前需要提前在OBS服务中创建相关目录，并确保访问用户具有对应目录的访问操作权限。

查看更多 →

创建HDFS目录 功能简介 创建目录过程为： 调用FileSystem实例的exists方法查看该目录是否存在。 如果存在，则直接返回。 如果不存在，则调用FileSystem实例的mkdirs方法创建该目录。 代码样例 如下是写文件的代码片段，详细代码请参考com.huawei

查看更多 →

压。 fromJobConfig.splitType 否 枚举 指定任务分片方式，选择按文件或文件大小进行分割。HDFS上的文件，如果在HDFS上已经分片，则HDFS每个分片视为一个文件。 FILE：按文件数量进行分片。例如有10个文件，并在任务参数中指定“throttlingConfig

查看更多 →

对象总量增加，需要消耗更多的内存，使集群现有硬件可能会难以满足业务需求，且导致集群难以扩展。 规划存储大量文件的HDFS系统容量，就是规划NameNode的容量规格和DataNode的容量规格，并根据容量设置参数。 容量规格 NameNode容量规格 在NameNode中，每个文

查看更多 →

HDFS日志介绍 日志描述 日志存储路径：HDFS相关日志的默认存储路径为“/var/log/Bigdata/hdfs/角色名”。 NameNode：“/var/log/Bigdata/hdfs/nn”（运行日志），“/var/log/Bigdata/audit/hdfs/nn”（审计日志）。

查看更多 →

存储 存储是保存数据的对象，通常来说，同一种设备的数据会保存在同一个存储中。存储中定义了设备的标签与设备的属性。其中设备ID（deviceId）就是最常用的一种标签（tag）。一个标签包括标签名与标签值，例如设备ID：标签名为 deviceId，而它的标签值则是具体的某个设备ID

查看更多 →

存储 存储概述 存储基础知识 云硬盘存储（EVS） 文件存储（SFS） 极速文件存储（SFS Turbo） 对象存储（OBS） 专属存储（DSS） 本地持久卷（Local PV） 临时存储卷（EmptyDir） 主机路径（HostPath） 存储类（StorageClass） 存储管理最佳实践

查看更多 →

业务代码中出现踩内存、释放野指针问题，通过异常dump信息较难定位内存非法操作的位置。备份动态内存节点控制头信息：在前一内存节点控制头中备份当前节点控制头信息。在内存申请和释放操作中增加对当前节点的控制头信息与备份信息的检测，在节点控制头被踩而备份信息未踩时，输出节点控制头备份信息及被踩节点前一内存节点信息，用于进一步分析是否为越界踩内存

查看更多 →

业务运行中发生内存泄露，业务逻辑复杂或者长时间运行才出现。申请内存和释放申请时，在内存节点控制头中记录函数调用栈，发生内存泄露时，通过分析used节点信息，可定位疑似内存泄露的位置。目前只有bestfit内存管理算法支持该功能，需要使能LOSCFG_KERNEL_MEM_BESTFIT。Kernel ---> Memory Managem

查看更多 →

内存管理函数 内存管理函数仅9.1.0及以上集群版本支持。 pg_shared_chunk_detail(contextname char(64)) 描述：查询指定共享内存下内存上下文申请的所有chunk信息。 参数contextname，表示内存上下文名称。 使用该函数需先使用

查看更多 →

内存优化型 内存优化型实例类型总览 内存优化型 云服务器 擅长应对大型内存数据集和高网络场景。适用于内存要求高，数据量大并且数据访问量大，同时要求快速的数据交换和处理。例如广告精准营销、电商、车联网等大数据分析场景。 该类型 弹性云服务器 默认开启超线程，每个vCPU对应一个底层超线程HT（Hyper-Threading）。

查看更多 →

内存加速概述 内存加速是GeminiDB Redis为了优化“传统被动缓存方案”而推出的功能，它可以让用户通过界面配置规则的形式，自动缓存MySQL的数据，加速MySQL的访问。 如下图图1所示，“传统被动缓存方案”需要用户自行开发代码把MySQL中的数据写入到缓存中，存在效率低

查看更多 →

20 其中各字段分别为：输出顺序号、线程内分配内存上下文的顺序号、当前内存上下文的名称、父内存上下文的输出顺序号、父内存上下文的名称、内存上下文树形层次级别号、当前内存上下文使用的内存峰值、当前内存上下文及其所有子内存上下文使用的内存峰值、当前线程所在query的plannodeid。

查看更多 →