ALM-12180 磁盘卡IO

告警解释

• 对于HDD盘，满足以下任意条件时触发告警：
  • 系统在30s内，每3秒采集一次数据，连续10周期，svctm时延超过6秒。
  • 系统在30s内，每3秒采集一次数据，连续10周期，磁盘队列深度（avgqu-sz）> 0，iops = 0或带宽 = 0，且ioutil > 99%。
• 对于SSD盘，满足以下任意条件时触发告警：
  • 系统在30秒内，每3秒采集一次数据，连续10周期，svctm时延超过3秒。
  • 系统在30秒内，每3秒采集一次数据，连续10周期，磁盘队列深度（avgqu-sz）> 0，iops = 0或带宽 = 0，且ioutil > 99%。

当系统连续90s内不满足以上所有条件时，告警自动清除。

• 在操作系统中执行以下命令采集数据：

  iostat -x -t 1 1

  

  其中：

  “avgqu-sz”为磁盘队列深度。

  “r/s”和“w/s”之和为“iops”。

  “rkB/s”和“wkB/s”之和为带宽。

  “%util”为“ioutil”。

  svctm获取方式如下：

• MRS 3.1.0版本：

  在操作系统中执行iostat -x -t获取：

  

• MRS 3.1.0之后版本svctm的计算方法为：

  svctm = (tot_ticks_new - tot_ticks_old) / (rd_ios_new + wr_ios_new - rd_ios_old - wr_ios_old)

  如果rd_ios_new + wr_ios_new - rd_ios_old - wr_ios_old = 0，则svctm = 0

  参数获取如下：

  系统每3秒执行一次cat /proc/diskstats命令采集数据。例如：

  

  连续两次采集的数据中：

  第一次采集的数据中，第4列的数字是“rd_ios_old”，第8列的数字是“wr_ios_old”，第13列的数字是“tot_ticks_old”。

  第二次采集的数据中，第4列的数字是“rd_ios_new”，第8列的数字是“wr_ios_new”，第13列的数字是“tot_ticks_new”。

  则上图中svctm值为：

  (19571460 - 19569526) / (1101553 + 28747977 - 1101553 - 28744856) = 0.6197

告警属性

告警参数

对系统的影响

如果IO持续飙高，会对业务操作产生影响，导致业务受损。

可能原因

磁盘老化。

处理步骤

更换磁盘。

1. 在FusionInsight Manager界面，选择“运维 > 告警 > 告警”。
2. 查看该告警的详细信息，查看定位信息中对应的“主机名”字段和“磁盘名”字段的值，获取该告警上报的故障磁盘信息。
3. 更换硬盘。
4. 检查告警是否清除。
   • 是，操作结束。
   • 否，执行5。

收集故障信息。

5. 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。
6. 在“服务”中勾选“OMS”，单击“确定”。
7. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。
8. 请联系运维人员，并发送已收集的故障日志信息。

告警清除

此告警修复后，系统会自动清除此告警，无需手工清除。

参考信息

无。