# ALM-38011 Broker上用户连接数使用率超过设定阈值
#### 告警解释
系统每30秒周期性检测Broker上每个用户的连接数情况，当连续5次（MRS 3.6.0.1及之后版本：3次）检测到Broker上某个用户的连接数使用占比超过阈值时产生该告警。
平滑次数为5（MRS 3.6.0.1及之后版本：3次），当Broker上某个用户的连接数使用占比低于阈值时，告警恢复。
告警可自动清除，但当某个用户的连接数突然变为0时，而且不再建立连接，此时该告警不会消除，需要手动清除。
#### 告警属性
| **告警ID** | **告警级别**                                     | **可自动清除** |
|:---|:---|:---|
| 38011    | 重要（默认为85%） 紧急（默认为90%） | 是         |
   
#### 告警参数
| **参数名称** | **参数含义**   |
|:---|:---|
| 来源       | 产生告警的集群名称。 |
| 服务名      | 产生告警的服务名称。 |
| 角色名      | 产生告警的角色名称。 |
| 主机名      | 产生告警的主机名。  |
| 用户名      | 产生告警的用户名。  |
   
#### 对系统的影响
当同一个用户连接数太多时，产生告警的用户将无法与Broker建立新的连接。
#### 可能原因
- 客户端使用同一个用户建立的连接个数超过设定阈值。
- 用户连接数使用率阈值设置不符合业务需求。
 
#### 处理步骤
**检查客户端使用同一个用户建立的连接个数。**
1. 登录MRS集群Manager页面，选择"运维 \> 告警 \> 告警"。在告警列表中查看该告警详细信息，在"定位信息"中查看告警上报的Broker实例主机名和用户名。 
   登录集群Manager具体操作，请参考[访问MRS集群Manager](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0128.html)。
   
   
2. 在Manager首页，选择"集群 \> 服务 \> Kafka \> 实例"，单击上报告警实例主机名对应的角色。单击图表区域右上角下拉菜单，选择"定制 \> 其它"，勾选"Broker上用户连接数使用率"，"Broker上用户最大连接数状况"和"Broker上用户连接数使用个数"，单击"确定"，查看当前Broker下用户的连接数状况。
3. 观察当前告警用户的实时连接数情况，确认当前用户的实时监控数据是否存在。 
   - 是，执行[步骤 4]。
   
   - 否，说明当前用户已经断开所有连接，则手动清除告警，操作结束。
     ![](https://support.huaweicloud.com/usermanual-mrs/public_sys-resources/note_3.0-zh-cn.png)
     当告警用户断开所有连接之后，该用户的监控数据会消失，此时无法自动清除告警，需要手动清除。
     
   
   
   
   
4. 确认该告警的用户是否为业务侧允许的合法用户。
   
   - 是，执行[步骤 7]。
   
   - 否，执行[步骤 5]。
   
   
   
   
5. 在客户端执行如下命令对该用户的连接数进行限制。当前提供两种命令行配置规则：
   
   - 针对特定Broker，特定用户：
     ```
     kafka-configs.sh --bootstrap-server <broker ip:port> --alter --add-config 'max.connections.per.user.overrides=[<username>:<connection.number>]' --entity-type brokers --entity-name <broker.id> --command-config Kafka/kafka/config/producer.properties
     ```
     ![](https://support.huaweicloud.com/usermanual-mrs/public_sys-resources/note_3.0-zh-cn.png)
     - 对于非法用户，需要和业务侧确认减少非法用户的最大连接个数或者将最大连接数设置为0。
     
     - 上述命令需要指定Broker的IP和端口，设置配置项的大小，指定brokerId和用户名，这里的用户指Kerberos认证用户。
     
     - 使用命令行工具更新的配置可以动态生效，重启服务会失效。如果想在重启后继续生效，请在Manager首页，选择"集群 \> 服务 \> Kafka \> 配置 \> 全部配置 \> Broker \> 服务"，将配置信息更新到"max.connections.per.user.overrides"参数中。
       
   
   - 针对特定用户，默认Broker，即集群所有的Broker：
     ```
     kafka-configs.sh --bootstrap-server <broker ip:port> --alter --add-config 'max.connections.per.user.overrides=[<username>:<connection.number>]' --entity-type brokers ---entity-default --command-config Kafka/kafka/config/client.properties
     ```
     例如：
     ```
     kafka-configs.sh --bootstrap-server 10.153.3.26:21007 --alter --add-config 'max.connections.per.user.overrides=[showcase:4]' --entity-type brokers --entity-name 1 --command-config Kafka/kafka/config/client.properties
     ```
     
   
   
   
   
6. 通过[步骤 2]查看该用户当前最大连接数是否为0，当前用户的连接数是否减少或不变。
   
   - 是，手动清除告警，操作结束。
   
   - 否，执行[步骤 7]。
   
   
   
   
7. 查看当前用户实时的连接个数和使用率对比历史数据是否有明显的异常增长，已经达到设定的最大连接数。
   
   - 是，执行[步骤 8]。
   
   - 否，执行[步骤 9]。
   
   
   ![](https://support.huaweicloud.com/usermanual-mrs/public_sys-resources/note_3.0-zh-cn.png)
   如果对比历史数据发现该用户的连接有明显的增加，甚至达到了设定的最大连接数，那么该用户的连接可能存在异常，需要和业务方进行确认。
   
   
**检查用户的连接个数是否符合业务需求。**
8. 确认该用户的连接个数是否符合业务需求。
   
   - 是，执行[步骤 9]。
   
   - 否，联系业务方进行异常连接排查。
   
   
   ![](https://support.huaweicloud.com/usermanual-mrs/public_sys-resources/note_3.0-zh-cn.png)
   如果用户连接个数非正常业务需要，需要联系业务方进行排查问题：
   - 需要业务方排查是否有新业务加入导致用户连接数激增。
   
   - 排查业务侧代码是否存在句柄泄露问题。
    
   
   
9. 考虑是否增大该用户的最大连接数个数。
   
   - 是，执行[步骤 10]。
   
   - 否，执行[步骤 12]。
   
   
   
   
10. 根据业务侧需求增加该用户的最大连接个数。在Kafka客户端对该用户的连接数重新进行设置，命令参考[步骤 5]。
11. 等待几分钟，查看告警是否自动消除。 
    - 是，执行[步骤 12]。
    
    - 否，重新执行[步骤 2]。
    
    
    
    
12. 根据业务侧需求考虑是否需要将该用户添加到白名单中。
    
    - 是，执行[步骤 13]。
    
    - 否，执行[步骤 15]。
    
    
    ![](https://support.huaweicloud.com/usermanual-mrs/public_sys-resources/note_3.0-zh-cn.png)
    将用户添加到白名单，需要重启Kafka服务，会中断服务导致业务受影响，因此如果要采用这种方式，必须和业务侧确认后才能进行。
    
    
13. 在Manager首页，选择"集群 \> 服务 \> Kafka \> 配置 \> 全部配置 \> Broker（角色） \> 服务"，将该用户添加到"max.connections.per.user.whitelist"配置项中。
14. 重启服务使其生效，同时需要手动清除该告警。操作结束。
**收集故障信息。**
15. 在Manager界面，选择"运维 \> 日志 \> 下载"。
16. 在"服务"中勾选待操作集群的"Kafka"。
17. 单击右上角的![](https://support.huaweicloud.com/usermanual-mrs/zh-cn_image_0263895507.png)设置日志收集的"开始时间"和"结束时间"分别为告警产生时间的前后10分钟，单击"下载"。
18. 请联系运维人员，并发送已收集的故障日志信息。
 
#### 告警清除
此告警修复后，系统会自动清除此告警，无需手工清除。
#### 参考信息
无