志（聚合功能开启的情况下）都保存在HDFS上。对于计算任务量大的集群，如果不进行合理的配置对日志文件进行定期归档和删除，日志文件将占用HDFS大量内存空间，增加集群负载。 日志归档是通过Hadoop Archives功能实现的，Hadoop Archives启动的并行归档任务数（

查看更多 →

志（聚合功能开启的情况下）都保存在HDFS上。对于计算任务量大的集群，如果不进行合理的配置对日志文件进行定期归档和删除，日志文件将占用HDFS大量内存空间，增加集群负载。 日志归档是通过Hadoop Archives功能实现的，Hadoop Archives启动的并行归档任务数（

查看更多 →

检查NameNode节点内存，查看是否有节点存在内存不足的问题。 是，执行5。 否，执行6。 重启NameNode释放内存，检查本告警是否恢复。 是，处理完毕。 否，执行6。 重启实例期间实例不可用，当前实例节点的任务会执行失败。 检查Spark进程内存是否不足。 排查是否有内存相关的修改导致Spark进程内存不足。

查看更多 →

Broker进程每分钟垃圾回收（GC）所占用的时间。 12000ms Kafka堆内存使用率 Kafka堆内存使用百分比统计。 95% Kafka直接内存使用率 Kafka直接内存使用百分比统计。 95% Loader 内存 Loader堆内存使用率 Loader堆内存使用率。 95% Loader直接内存使用率统计

查看更多 →

字母开头。 “资源”：在界面左边可用主机列表中，勾选指定的主机，单击，将选中的主机加入已选主机列表。只支持选择本集群中的主机。资源池中的主机列表可以为空。 根据业务需求，可以通过主机名称 、核数、内存、操作系统、平台类型，筛选需要选取的资源主机。 单击“确定”保存。 完成资源池创

查看更多 →

字母开头。 “资源”：在界面左边可用主机列表中，勾选指定的主机，单击，将选中的主机加入已选主机列表。只支持选择本集群中的主机。资源池中的主机列表可以为空。 根据业务需求，可以通过主机名称 、核数、内存、操作系统、平台类型，筛选需要选取的资源主机。 单击“确定”保存。 完成资源池创

查看更多 →

集群主机健康状态统计 集群网络读速率统计 主机网络读速率分布 主机网络写速率分布 集群磁盘写速率统计 集群磁盘占用率统计 集群磁盘信息 主机磁盘占用率分布 集群磁盘读速率统计 集群内存占用率统计 主机内存占用率分布 集群网络写速率统计 主机CPU占用率分布 集群CPU占用率统计

查看更多 →

产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 可能会导致任务运行时申请不到内存而失败。 可能原因 BE节点内存被其他进程占用过大导致机器剩余内存不够，或BE服务最大内存上限设置过大。 处理步骤

查看更多 →

内存加速 内存加速概述 开启内存加速 管理映射规则 内存加速管理 父主题： RDS for MySQL用户指南

查看更多 →

如何减小备份占用空间？ 问题描述 磁盘备份远大于 服务器 内部查看磁盘的已用空间的大小。即使删除磁盘中的大文件重新备份，备份大小仍没有明显减小。 可能原因 这是由于磁盘删除一些大文件等操作，进行磁盘清理或更新清理后，数据依然在磁盘里，只是通过系统无法看到。而云备份的备份功能是基于整个

查看更多 →

YARN应用开发简介 简介 Yarn是一个分布式的资源管理系统，用于提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改，可是

查看更多 →

YARN应用开发简介 简介 Yarn是一个分布式的资源管理系统，用于提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改，可是

查看更多 →

YARN应用开发简介 简介 Yarn是一个分布式的资源管理系统，用于提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改，可是

查看更多 →

Master所占的最大资源百分比。 每个YARN容器最多分配核数 表示当前队列内单个YARN容器可分配的最多核数，默认为-1，表示取值范围内不限制。 每个YARN容器最大分配内存（MB） 表示当前队列内单个YARN容器可分配的最大内存，默认为-1，表示取值范围内不限制。 最多运行任务数

查看更多 →

Yarn用户权限管理 创建Yarn角色 父主题： 使用Yarn

查看更多 →

Yarn运维管理 Yarn常用配置参数 Yarn日志介绍 配置Yarn本地化日志级别 检测Yarn内存使用情况 更改NodeManager的存储目录 父主题： 使用Yarn

查看更多 →

Yarn组件对接OBS 对接OBS 以客户端安装用户登录安装了Yarn客户端的节点。 执行以下命令，切换到客户端安装目录。 cd 客户端安装目录 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式，执行以下命令进行用户认证，该用户需具有OBS目录

查看更多 →

Master所占的最大资源百分比。 每个YARN容器最多分配核数 表示当前队列内单个YARN容器可分配的最多核数，默认为-1，表示取值范围内不限制。 每个YARN容器最大分配内存（MB） 表示当前队列内单个YARN容器可分配的最大内存，默认为-1，表示取值范围内不限制。 最多运行任务数

查看更多 →

resourcemanager_server=dce-union-compute-space-3 #hadoop内存大小(GB) hadoop_memory_size=8 #yarn虚拟核心数 yarn_vcpu_cores=8 #指定hadoop安装地址(所有服务器安装目录必须一致) hadoop_

查看更多 →

resourcemanager_server=dpe-open-space-cc-3 #hadoop内存大小(GB) hadoop_memory_size=8 #yarn虚拟核心数 yarn_vcpu_cores=8 #指定hadoop安装地址(所有服务器安装目录必须一致) hadoo

查看更多 →

华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。

查看更多 →