# ALM-38014 Produce请求总体时延超过阈值
#### 告警解释
系统每30秒周期性检测Broker实例的Produce请求的总体时延，当检测到某个Broker上的Produce请求的总体时延连续10次超出阈值时产生该告警。
当Produce请求的总体时延小于或等于阈值时，告警消除。
本章节仅适用于MRS 3.5.0-LTS及之后版本。
#### 告警属性
| 告警ID  | 告警级别                                                                                     | **是否可自动清除** |
|:---|:---|:---|
| 38014 | 紧急（默认阈值为120000） 重要（默认阈值为60000） | 是           |
   
#### 告警参数
| 类别   | 参数名称 | 参数含义       |
|:---|:---|:---|
| 定位信息 | 来源   | 产生告警的集群名称。 |
| 定位信息 | 服务名  | 产生告警的服务名称。 |
| 定位信息 | 角色名  | 产生告警的角色名称。 |
| 定位信息 | 主机名  | 产生告警的主机名。  |
   
#### 对系统的影响
Broker实例的Produce请求的总体时延超过阈值，对于时延敏感型业务，可能会导致大量的业务查询请求超时。
#### 可能原因
- Broker用于处理请求的线程数配置不合理。
- 慢盘故障。
- Broker磁盘IO繁忙。
- Broker的分区分布不均匀，存在热点。
 
#### 处理步骤
**检查Broker用于处理请求的线程数配置是否不合理。**
1. 登录FusionInsight Manager，选择"集群 \> 服务 \> Kafka\> 配置 \> 全部配置"。
2. 搜索并查看"num.io.threads"参数值，如果参数值过小，需要增大参数值，建议调整为CPU核数的2倍，最大不超过64，保存配置。
3. 单击"实例"页签，勾选所有Broker实例，选择"更多 \> 滚动重启实例"。 
   ![](https://support.huaweicloud.com/usermanual-mrs/public_sys-resources/note_3.0-zh-cn.png)
   **重启期间服务业务可能受损或中断，请在业务低峰期重启该实例。**
   
   
4. 等待5分钟，查看告警是否自动清除。 
   - 是，操作结束。
   
   - 否，执行[步骤 5]。
   
   
   
   
**检查是否慢盘故障**。
5. 在FusionInsight Manager界面，选择"运维 \> 告警 \> 告警"，查看此告警的详细信息，记录定位信息中上报告警的"主机名"名称。
6. 查看[步骤 5]上报告警的节点是否存在"慢盘故障"或"磁盘不可用"告警。
   
   - 是，参考"ALM-12033 慢盘故障"或"ALM-12063 磁盘不可用"告警处理步骤进行处理。
   
   - 否，执行[步骤 8]。
   
   
   
   
7. 等待5分钟，查看告警是否自动清除。 
   - 是，操作结束。
   
   - 否，执行[步骤 8]。
   
   
   
   
**检查是否Broker磁盘IO繁忙**。
8. 查看[步骤 5]中上报告警节点是否存在"Broker磁盘IO繁忙"告警。
   
   - 是，参考"ALM-38009 Broker磁盘IO繁忙"告警处理步骤进行处理，然后执行[步骤 9]。
   
   - 否，执行[步骤 10]。
   
   
   
   
9. 等待5分钟，查看告警是否自动清除。
   
   - 是，操作结束。
   
   - 否，执行[步骤 10]。
   
   
   
   
**检查是否Broker的分区分布不均匀，存在热点。**
10. 选择"集群 \> 服务 \> Kafka \> 图表"在分类中选择"分区"，单击"Partition数目-所有实例"右上角的放大图标，选择"分布图"，查看Broker上分区分布是否均衡。
    
    图1Broker上分区分布不均衡示例   
    ![](https://support.huaweicloud.com/usermanual-mrs/zh-cn_image_0000002002585273.png "点击放大")
    - 是，执行[步骤 13]。
    
    - 否，执行[步骤 11]。
    
    
    
    
11. 单击最右侧分区不均衡的条柱，查看是否包含[步骤 5]中获取的当前告警上报的节点，如果包含则需要执行数据均衡。
12. 等待5分钟，查看告警是否自动清除。 
    - 是，操作结束。
    
    - 否，执行[步骤 13]。
    
    
    
    
**收集故障信息。**
13. 在FusionInsight Manager界面，选择"运维 \> 日志 \> 下载"。
14. 在"服务"中勾选待操作集群的"Kafka"。
15. 单击右上角的编辑按钮设置日志收集的"开始时间"和"结束时间"分别为告警产生时间的前后10分钟，单击"下载"。
16. 请联系运维人员，并发送已收集的故障日志信息。
 
#### 告警清除
此告警修复后，系统会自动清除此告警，无需手工清除。
#### 参考信息
不涉及。