YARNMemoryAvailablePercentage 百分比 YARN组件可用内存百分比。是YARN组件可用内存大小与YARN组件总内存大小的比值。 取值范围为[0～100]。 YARNMemoryPending 整型 YARN组件挂起的内存大小。 取值范围为[0～2147483646]。

查看更多 →

一键式重置密码插件占用虚拟内存VIRT和常驻内存SHR过高怎么办？ 问题描述 在 弹性云服务器 运行时，一键式重置密码插件占用虚拟内存VIRT和常驻内存SHR过高。 图1 查看虚拟内存占用情况 问题根因 应用程序使用内存的时候通过glibc的内存池来提供，glibc 2.10之前的版本中，只有一个内存池，称为main

查看更多 →

TCP临时端口使用率 主机网络数据包帧错误数 网络读信息 主机网络读包数 主机网络读包丢包数 主机网络读包错误数 主机网络接收速率 磁盘 主机磁盘写速率 主机磁盘已使用大小 主机磁盘未使用大小 主机磁盘读速率 主机磁盘使用率 内存 未使用内存 缓存内存大小 内核缓存的内存总量 共享内存大小 主机内存使用率

查看更多 →

【Yarn WebUI】无法访问Yarn WebUI 问题现象 集群扩容到300节点后，无法访问Yarn WebUI界面。 原因分析 可能是由于集群节点较多时，NodeManager数据增加，但是未修改实例的内存，导致ResourceManager进程的垃圾回收时间过长，影响Re

查看更多 →

HDFS容量达到100%导致上层服务HBase、Spark等不可用 启动HDFS和Yarn服务报错“Permission denied” HDFS用户可在其他用户目录下创建或删除文件 HDFS的DataNode一直显示退服中 内存不足导致HDFS NameNode启动失败 ntpdate修改时间导致HDFS出现大量丢块

查看更多 →

志（聚合功能开启的情况下）都保存在HDFS上。对于计算任务量大的集群，如果不进行合理的配置对日志文件进行定期归档和删除，日志文件将占用HDFS大量内存空间，增加集群负载。 日志归档是通过Hadoop Archives功能实现的，Hadoop Archives启动的并行归档任务数（

查看更多 →

志（聚合功能开启的情况下）都保存在HDFS上。对于计算任务量大的集群，如果不进行合理的配置对日志文件进行定期归档和删除，日志文件将占用HDFS大量内存空间，增加集群负载。 日志归档是通过Hadoop Archives功能实现的，Hadoop Archives启动的并行归档任务数（

查看更多 →

Broker进程每分钟垃圾回收（GC）所占用的时间。 12000ms Kafka堆内存使用率 Kafka堆内存使用百分比统计。 95% Kafka直接内存使用率 Kafka直接内存使用百分比统计。 95% Loader 内存 Loader堆内存使用率 Loader堆内存使用率。 95% Loader直接内存使用率统计

查看更多 →

检查NameNode节点内存，查看是否有节点存在内存不足的问题。 是，执行5。 否，执行6。 重启NameNode释放内存，检查本告警是否恢复。 是，处理完毕。 否，执行6。 重启实例期间实例不可用，当前实例节点的任务会执行失败。 检查Spark进程内存是否不足。 排查是否有内存相关的修改导致Spark进程内存不足。

查看更多 →

字母开头。 “资源”：在界面左边可用主机列表中，勾选指定的主机，单击，将选中的主机加入已选主机列表。只支持选择本集群中的主机。资源池中的主机列表可以为空。 根据业务需求，可以通过主机名称 、核数、内存、操作系统、平台类型，筛选需要选取的资源主机。 单击“确定”保存。 完成资源池创

查看更多 →

80.0% 内存 主机内存使用率 12018 内存使用率超过阈值 业务进程响应缓慢或不可用。 90.0% 主机状态 主机文件句柄使用率 12053 主机文件句柄使用率超过阈值 系统应用无法打开文件、网络等IO操作，程序异常。 80.0% 主机PID使用率 12027 主机PID使用率超过阈值

查看更多 →

集群主机健康状态统计 集群网络读速率统计 主机网络读速率分布 主机网络写速率分布 集群磁盘写速率统计 集群磁盘占用率统计 集群磁盘信息 主机磁盘占用率分布 集群磁盘读速率统计 集群内存占用率统计 主机内存占用率分布 集群网络写速率统计 主机CPU占用率分布 集群CPU占用率统计

查看更多 →

产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 可能会导致任务运行时申请不到内存而失败。 可能原因 BE节点内存被其他进程占用过大导致机器剩余内存不够，或BE服务最大内存上限设置过大。 处理步骤

查看更多 →

Driver Memory Driver内存大小，单位默认为GB。 1GB Executor Memory 每个Executor进程的内存 ，和JVM内存串拥有相同的格式，单位默认为GB。 1GB Executor Cores 每个Executor所占用的CPU核的数目。 1 Number

查看更多 →

内存加速 内存加速概述 开启内存加速 管理映射规则 内存加速管理 父主题： RDS for MySQL用户指南

查看更多 →

YARN应用开发简介 简介 Yarn是一个分布式的资源管理系统，用于提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改，可是

查看更多 →

YARN应用开发简介 简介 Yarn是一个分布式的资源管理系统，用于提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改，可是

查看更多 →

Yarn用户权限管理 创建Yarn角色 父主题： 使用Yarn

查看更多 →

Yarn组件对接OBS 对接OBS 以客户端安装用户登录安装了Yarn客户端的节点。 执行以下命令，切换到客户端安装目录。 cd 客户端安装目录 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式，执行以下命令进行用户认证，该用户需具有OBS目录

查看更多 →

Master所占的最大资源百分比。 每个YARN容器最多分配核数 表示当前队列内单个YARN容器可分配的最多核数，默认为-1，表示取值范围内不限制。 每个YARN容器最大分配内存（MB） 表示当前队列内单个YARN容器可分配的最大内存，默认为-1，表示取值范围内不限制。 最多运行任务数

查看更多 →

YARN应用开发简介 简介 Yarn是一个分布式的资源管理系统，用于提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改，可是

查看更多 →