表。 操作系统 影响因素 说明 - CPU和内存占用率 迁移过程中会占用源端主机的一部分内存和CPU，占用情况根据主机的实际情况有所不同。迁移前确保源端主机CPU和内存占用率不高于75%，实际预留内存不少于520MB。 网络带宽 主机迁移对网络有较为严格的要求，需要保证源端和目的

查看更多 →

YARN接口介绍 YARN Command介绍 YARN Java API接口介绍 YARN REST API接口介绍 Superior Scheduler REST API接口介绍 父主题： YARN开发指南（普通模式）

查看更多 →

s。而大部分只有管理员有权限使用。 用户可以通过以下命令查看YARN用法和帮助： yarn --help 用法：进入Yarn客户端的任意目录，执行source命令导入环境变量，直接运行命令即可。 格式如下所示： yarn [--config confdir] COMMAND 其中COMMAND内容请参考表1。

查看更多 →

YARN接口介绍 YARN Command介绍 YARN Java API接口介绍 YARN REST API接口介绍 Superior Scheduler REST API接口介绍 父主题： YARN开发指南（普通模式）

查看更多 →

创建Yarn角色 操作场景 该任务指导 MRS 集群管理员创建并设置Yarn的角色。Yarn角色可设置Yarn管理员权限以及Yarn队列资源管理。 如果当前组件使用了Ranger进行权限控制，须基于Ranger配置相关策略进行权限管理。具体操作可参考添加Yarn的Ranger访问权限策略。

查看更多 →

yarn-service-check.log Yarn服务健康状态检查日志。 yarn-start-stop.log Yarn服务启停操作日志。 yarn-prestart.log Yarn服务启动前集群操作的记录日志。 yarn-postinstall.log Yarn服务安装后启动前的工作日志。 hadoop-commission

查看更多 →

使用Yarn构建 使用Yarn可以构建JavaScript工程。 图形化构建 在配置构建步骤中，添加“Yarn构建”构建步骤，可参考表1配置参数。 表1 Yarn构建参数说明 参数 说明 步骤显示名称 构建步骤的名称，可自定义修改。 支持中文、英文、数字、“-”、“_”、英文逗号、英文分号、英文冒号、“

查看更多 →

创建Yarn角色 操作场景 该任务指导MRS集群管理员创建并设置Yarn的角色。Yarn角色可设置Yarn管理员权限以及Yarn队列资源管理。 如果当前组件使用了Ranger进行权限控制，须基于Ranger配置相关策略进行权限管理。对于MRS 3.x及后续版本集群，具体操作可参考

查看更多 →

Yarn与其他组件的关系 Yarn和Spark组件的关系 Spark的计算调度方式，可以通过Yarn的模式实现。Spark共享Yarn集群提供丰富的计算资源，将任务分布式的运行起来。Spark on Yarn分两种模式：Yarn Cluster和Yarn Client。 Yarn

查看更多 →

“队列等待时长（毫秒）”：表示在队列中，任务的最长等待时间，单位为毫秒。 “开启内存软隔离”：表示租户是否可以超量使用内存资源。如果开启，系统有空闲内存资源时，则租户在超出内存限制后，可以继续使用系统内存，只有资源紧张时，才取消组内内存占用最大的若干任务。 创建租户时，租户可以关联的服务资源只有HB

查看更多 →

检查NameNode节点内存，查看是否有节点存在内存不足的问题。 是，执行5。 否，执行6。 重启NameNode释放内存，检查本告警是否恢复。 是，处理完毕。 否，执行6。 重启实例期间实例不可用，当前实例节点的任务会执行失败。 检查Spark进程内存是否不足。 排查是否有内存相关的修改导致Spark进程内存不足。

查看更多 →

HDFS容量达到100%导致上层服务HBase、Spark等不可用 启动HDFS和Yarn服务报错“Permission denied” HDFS用户可在其他用户目录下创建或删除文件 HDFS的DataNode一直显示退服中 内存不足导致HDFS NameNode启动失败 ntpdate修改时间导致HDFS出现大量丢块

查看更多 →

【Yarn WebUI】无法访问Yarn WebUI 问题现象 集群扩容到300节点后，无法访问Yarn WebUI界面。 原因分析 可能是由于集群节点较多时，NodeManager数据增加，但是未修改实例的内存，导致ResourceManager进程的垃圾回收时间过长，影响Re

查看更多 →

Mapreduce服务不可用 ALM-18022 Yarn队列资源不足 ALM-18023 Yarn任务挂起数超过阈值 ALM-18024 Yarn任务挂起内存量超阈值 ALM-18025 Yarn被终止的任务数超过阈值 ALM-18026 Yarn上运行失败的任务数超过阈值 ALM-18027 JobHistoryServer进程状态异常

查看更多 →

Driver Memory Driver内存大小，单位默认为GB。 1GB Executor Memory 每个Executor进程的内存 ，和JVM内存串拥有相同的格式，单位默认为GB。 1GB Executor Cores 每个Executor所占用的CPU核的数目。 1 Number

查看更多 →

Broker进程每分钟垃圾回收（GC）所占用的时间。 12000ms Kafka堆内存使用率 Kafka堆内存使用百分比统计。 95% Kafka直接内存使用率 Kafka直接内存使用百分比统计。 95% Loader 内存 Loader堆内存使用率 Loader堆内存使用率。 95% Loader直接内存使用率统计

查看更多 →

80.0% 内存 主机内存使用率 12018 内存使用率超过阈值 业务进程响应缓慢或不可用。 90.0% 主机状态 主机文件句柄使用率 12053 主机文件句柄使用率超过阈值 系统应用无法打开文件、网络等IO操作，程序异常。 80.0% 主机PID使用率 12027 主机PID使用率超过阈值

查看更多 →

志（聚合功能开启的情况下）都保存在HDFS上。对于计算任务量大的集群，如果不进行合理的配置对日志文件进行定期归档和删除，日志文件将占用HDFS大量内存空间，增加集群负载。 日志归档是通过Hadoop Archives功能实现的，Hadoop Archives启动的并行归档任务数（

查看更多 →

志（聚合功能开启的情况下）都保存在HDFS上。对于计算任务量大的集群，如果不进行合理的配置对日志文件进行定期归档和删除，日志文件将占用HDFS大量内存空间，增加集群负载。 日志归档是通过Hadoop Archives功能实现的，Hadoop Archives启动的并行归档任务数（

查看更多 →

消防通道占用检测 输出JSON数据流到DIS指定的通道或者Webhook URL，包括告警结构化数据和图片数据。 JSON结果包括车辆占用消防通道报警、堆物占用消防通道报警以及事件消失告警。其中，事件消失告警会在已告警的车辆或者堆物不再非法占用消防通道时，触发告警。 车辆占用消防通道报警json实例

查看更多 →

如何减小备份占用空间？ 问题描述 磁盘备份远大于 服务器 内部查看磁盘的已用空间的大小。即使删除磁盘中的大文件重新备份，备份大小仍没有明显减小。 可能原因 这是由于磁盘删除一些大文件等操作，进行磁盘清理或更新清理后，数据依然在磁盘里，只是通过系统无法看到。而云备份的备份功能是基于整个

查看更多 →