文档首页/ MapReduce服务 MRS/ 故障排除/ 使用Spark/ 磁盘容量不足导致Spark、Hive和Yarn服务不可用
更新时间:2023-11-09 GMT+08:00
分享

磁盘容量不足导致Spark、Hive和Yarn服务不可用

用户问题

磁盘容量不足产生致命告警,Spark、Hive和Yarn服务不可用。

问题现象

用户创建的集群显示磁盘容量不足,产生致命告警,导致Spark、Hive和Yarn服务不可用。

原因分析

由于集群磁盘容量不足,会影响到HDFS的数据写入,HDFS磁盘空间使用率超过阈值,因此导致HDFS服务异常。HDFS服务异常则会导致Spark、Hive和Yarn服务不可用。

根据该集群出现磁盘容量不足产生Spark、Hive和Yarn服务不可用的报警,扩容磁盘后不再告警,可以判断是磁盘容量不足引起HDFS功能故障所导致。

处理步骤

针对磁盘容量不足产生的告警处理步骤,请参考ALM-12017 磁盘容量不足

参考信息

HDFS磁盘空间使用率超过阈值处理步骤,请参考ALM-14001 HDFS磁盘空间使用率超过阈值

相关文档