使用Yarn Yarn用户权限管理 使用Yarn客户端提交任务 配置Container日志聚合功能 启用Yarn CGroups功能限制Container CPU使用率 配置TimelineServer支持HA Yarn企业级能力增强 Yarn性能调优 Yarn运维管理 Yarn常见问题

查看更多 →

使用Yarn Yarn用户权限管理 使用Yarn客户端提交任务 配置Container日志聚合功能 启用Yarn CGroups功能限制Container CPU使用率 Yarn企业级能力增强 Yarn性能调优 Yarn运维管理 Yarn常见问题

查看更多 →

ResourceManager堆内存使用率超过阈值 告警解释 系统每30秒周期性检测Yarn ResourceManager堆内存使用率，并把实际的Yarn ResourceManager堆内存使用率和阈值相比较。当Yarn ResourceManager堆内存使用率超出阈值（默认为最大堆内存的95%）时产生该告警。

查看更多 →

内存占用峰值 Agent运行时，内存占用控制在150MB以内。 若内存占用达到200MB，Agent会在5分钟内自动重启。 不同规格主机Agent资源占用一览 Agent运行时，不同规格的 云服务器 CPU、内存占用情况如表1所示。 表1 Agent资源占用一览 vCPUs规格 Agent运行占用CPU资源比例（峰值）

查看更多 →

使用Yarn 集群启动Yarn后产生大量作业占用资源 通过客户端hadoop jar命令提交任务后返回“GC overhead”报错 Yarn汇聚日志过大导致节点磁盘被占满 MapReduce任务异常，临时文件未删除 Yarn客户端的端口信息错误导致提交任务后报错connection

查看更多 →

8MB（196核CPU/1536G内存，128核CPU/1024G内存，104核CPU/1024G内存，96核CPU/1024G内存，96核CPU/768G内存，80核CPU/640G内存，64核CPU/512G内存，60核CPU/480G内存，32核CPU/256G内存，16核CPU/128G内存，8核C

查看更多 →

level1：动态内存使用超过最大动态内存的90%后，会记录以下信息，并将记录的内存信息保存在$GAUSS LOG /mem_log目录下。 全局内存概况。 instance，session，thread三种类型的所有内存上下文中内存占用前20的内存上下文的内存使用情况。 每个内存上下文的totalsize、freesize字段。

查看更多 →

ResourceManager直接内存使用率超过阈值 告警解释 系统每30秒周期性检测ResourceManager服务直接内存使用状态，当检测到ResourceManager实例直接内存使用率超出阈值（最大内存的90%）时，产生该告警。 直接内存使用率小于阈值时，告警恢复。 告警属性

查看更多 →

主机监控Agent对主机的性能会有影响吗？ 主机监控Agent占用的系统资源很小，性能基本不会受到影响。 在 弹性云服务器 中安装Agent资源占用情况如下： CPU单核使用率最大不超过10%、内存最大不超过200M。一般情况下，CPU单核使用率<5%，内存<100M。 在 裸金属服务器 中安装Agent资源占用情况如下：

查看更多 →

登录 FusionInsight Manager，选择“集群 > 服务 > Yarn > 配置 > 全部配置”，在左侧选择“Yarn > 自定义”，在“yarn.yarn-site.customized.configs”中添加“yarn.resourcemanager.zk-timeout-ms

查看更多 →

Yarn汇聚日志过大导致节点磁盘被占满 用户问题 集群的磁盘使用率很高。 问题现象 Manager管理页面下主机管理显示磁盘使用率过高。 Yarn WebUI界面上显示只有少量任务在运行。 登录到集群的Master节点执行hdfs dfs -du -h / 命令发现如下文件占用大量磁盘空间。

查看更多 →

ALM-29104 Tserver进程内存占用率超过阈值 告警解释 系统每60秒周期性检测Kudu Tserver进程内存占用率，当检测到Tserver进程占用率超过阈值，此时产生该告警。 Tserver进程内存占用率恢正常后，系统认为Kudu实例服务恢复，告警清除。 告警属性 告警ID

查看更多 →

可能数据倾斜导致executor使用内存超出限制，具体原因需要联系 MRS 定位。Yarn Application ID可以从日志中获取，日志搜索“Yarn Application Id”关键字，查询离报错信息最近的Yarn Application ID即可。 自主排查方式 登录yarn，根据appli

查看更多 →

ase、HDFS和Yarn。 动态资源 动态资源是分布式资源管理服务Yarn动态调度给任务队列的计算资源。Mapreduce、Spark2x、Flink和Hive的任务队列由Yarn来动态调度资源。 大数据集群为Yarn分配的资源是静态服务资源，可以由Yarn动态分配给任务队列计算使用。

查看更多 →

产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 NodeManager进程的垃圾回收时间过长，可能影响该NodeManager进程正常提供服务。 可能原因 该NodeManager节点实例堆内存使用率

查看更多 →

重启主ResourceManager实例，会发生ResourceManager实例主备倒换，倒换过程中，Yarn无法提交新作业，已提交的作业不受影响。Yarn组件以及依赖Yarn的组件会出现短暂的服务不可用告警。 重启备ResourceManager实例，服务业务不受影响。 观察界面告警是否清除。

查看更多 →

ALM-18018 NodeManager堆内存使用率超过阈值 告警解释 系统每30秒周期性检测Yarn服务堆内存使用状态，当检测到NodeManager实例堆内存使用率超出阈值（最大内存的95%）时产生该告警。 堆内存使用率小于阈值时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除

查看更多 →

一键式重置密码插件占用虚拟内存VIRT和常驻内存SHR过高怎么办？ 问题描述 在弹性云 服务器 运行时，一键式重置密码插件占用虚拟内存VIRT和常驻内存SHR过高。 图1 查看虚拟内存占用情况 问题根因 应用程序使用内存的时候通过glibc的内存池来提供，glibc 2.10之前的版本中，只有一个内存池，称为main

查看更多 →

。因此使用的总内存可能是work_mem的好几倍。 参数类型：USERSET 取值范围：整型，64~INT_MAX，单位为KB。 默认值：小规格内存为512MB， 大规格内存为2GB（max_process_memory大于等于30GB为大规格内存，否则为小规格内存）。 设置建议：

查看更多 →

所有内存上下文中内存占用前20的内存上下文的内存使用情况。 每个内存上下文的totalsize，freesize字段。 每个内存上下文上所有内存申请的详细信息，包含申请内存所在的文件，行号和大小。 默认值：level1 该参数设置为level2后，会记录每个内存上下文的内存申请详

查看更多 →

。因此使用的总内存可能是work_mem的好几倍。 参数类型：USERSET 取值范围：整型，64~INT_MAX，单位为KB。 默认值：小规格内存为512MB， 大规格内存为2GB（max_process_memory大于等于30GB为大规格内存，否则为小规格内存）。 设置建议：

查看更多 →