文档首页/
MapReduce服务 MRS/
用户指南（吉隆坡区域）/
FusionInsight Manager操作指导（适用于3.x）/
告警参考（适用于MRS 3.x版本）/
ALM-18003 NodeManager不健康
更新时间：2023-03-17 GMT+08:00
ALM-18003 NodeManager不健康
告警解释
系统每30秒周期性检测不健康NodeManager节点，并把不健康节点数和阈值相比较。“不健康的节点数”指标默认提供一个阈值。当检测到“不健康的节点数”的值超出阈值时产生该告警。
用户可通过选择“集群 > 待操作集群的名称 > 服务 > Yarn > 配置 > 全部配置”，修改
“yarn.nodemanager.unhealthy.alarm.threshold”的值来配置阈值（修改该参数不用重启Yarn，就可以生效）。
阈值默认为零，当不健康节点数超过该值时，触发告警，小于阈值时会自动消除告警。
告警属性
|
告警ID |
告警级别 |
是否自动清除 |
|---|---|---|
|
18003 |
重要 |
是 |
告警参数
|
参数名称 |
参数含义 |
|---|---|
|
来源 |
产生告警的集群名称。 |
|
服务名 |
产生告警的服务名称。 |
|
角色名 |
产生告警的角色名称。 |
|
主机名 |
产生告警的主机名。 |
|
Unhealthy Host |
不健康节点的主机列表。 |
对系统的影响
- 故障的NodeManager节点无法提供Yarn服务。
- 容器减少，集群性能下降。
可能原因
- NodeManager节点所在主机的硬盘空间不足。
- NodeManager节点本地目录omm用户无访问权限。
处理步骤
检查主机的硬盘空间。
- 在FusionInsight Manager界面，选择“运维 > 告警 > 告警”，在告警列表中找到当前告警，单击
获取告警详细信息，在“附加信息”中获取不健康状态的节点。 - 选择“集群 > 待操作集群的名称 > 服务 > Yarn > 实例”，选择对应主机的NodeManager实例，选择“实例配置 > 全部配置”，搜索“yarn.nodemanager.local-dirs”和“yarn.nodemanager.log-dirs”对应的磁盘。
- 选择“运维 > 告警 > 告警”，在告警列表中查看对应的磁盘是否存在“ALM-12017 磁盘容量不足”告警。
- 参考“ALM-12017 磁盘容量不足”操作步骤进行处理，故障恢复后，查看本告警是否恢复。
- 是，处理完毕。
- 否，执行7。
- 选择“主机 > 待查看的主机名称”，在主机的概览页面查看对应分区的磁盘使用情况。检查挂载磁盘使用空间百分比是否已经超过Yarn参数“yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage”所配置的值。
- 将磁盘使用率降到该配置值以下，等待10-20分钟，然后检查该告警是否恢复。
- 是，处理完毕。
- 否，执行7。
检查NodeManager节点本地目录的访问权限。
- 获取2中查看到的NodeManager目录，以root用户登录每个NodeManager节点，并进入获取到的目录。
- 执行ll命令查看对应localdir的文件夹和containerlogs文件夹权限，确认权限是否是“755”，且“用户:属组”是否为“omm:ficommon”。
- 是，处理完毕。
- 否，执行9。
- 执行如下命令将文件夹权限修改为“755”，并将“用户:属组”修改为“omm:ficommon”。
chmod 755 <folder_name>
chown omm:ficommon <folder_name>
- 等待10～20分钟，检查该告警是否恢复。
- 是，处理完毕。
- 否，执行11。
收集故障信息。
告警清除
此告警修复后，系统会自动清除此告警，无需手工清除。
参考信息
无。
父主题： 告警参考（适用于MRS 3.x版本）
