# ALM-12066 节点间互信失效
#### 告警解释
系统每一个小时检查一次主OMS节点和其他Agent节点间的互信是否正常，如果存在互信失效的节点，则发送告警。待问题修复，该告警会自动清除。
#### 告警属性
| 告警ID  | 告警级别 | 是否自动清除 |
|:---|:---|:---|
| 12066 | 重要   | 是      |
   
#### 告警参数
| 参数名称 | 参数含义          |
|:---|:---|
| 来源   | 产生告警的集群或系统名称。 |
| 服务名  | 产生告警的服务名称。    |
| 角色名  | 产生告警的角色名称。    |
| 主机名  | 产生告警的主机名。     |
   
#### 对系统的影响
可能会导致部分需要连接此节点的操作（如重启、同步配置、实例状态查询等）失败，如果有多个节点互信失效可能会影响业务。
#### 可能原因
- 集群节点的"/etc/ssh/sshd_config"配置文件被损坏。
- 节点上的**omm**用户密码过期。
 
#### 处理步骤
**查看/etc/ssh/sshd_config配置文件状态。**
1. 打开MRS Manager页面，在告警列表中，单击此告警所在行的![](https://support.huaweicloud.com/usermanual-mrs/zh-cn_image_0263895789.png)，查看告警详情中涉及的主机列表。
2. 以**root** 用户登录主OMS节点。管理节点的主备状态及对应IP地址可在FusionInsight Manager主机管理界面查看。
   
   执行以下命令，切换到**omm**用户。
   ```
   su - omm
   ```
   
   
3. 依次执行以下命令，查看连接状态。其中host2为[步骤 1]中获取的除主OMS节点以外的其他节点。
   
   ```
   ssh host2
   ```
   - 连接失败，执行[步骤 4]。
   
   - 连接存在交互信息，执行[步骤 6]。
   
   - 连接成功，执行[步骤 9]。
   
   
   
   
4. 打开*host2* 主机上的"/etc/ssh/sshd_config"配置文件，查看另外节点是否配置在AllowUsers 、DenyUsers等白名单或者黑名单中。
   
   - 是，执行[步骤 5]。
   
   - 否，联系OS专家处理。
   
   
   
   
5. 修改白名单或者黑名单设置，保证**omm** 用户在白名单中或者不在黑名单中。然后持续一段时间观察告警是否清除。
   
   - 是，操作结束。
   
   - 否，执行[步骤 6]。
   
   
   
   
**查看omm密码状态。**
6. 查看ssh命令的交互信息。
   
   - 要求输入**omm** 用户的密码（Password:），执行[步骤 7]。
   
   - 要求输入密码短语（Enter passphrase for key '/home/omm/.ssh/id_rsa':），执行[步骤 10]。
   
   - 可以正常连接，则执行以下命令重启ssh-agent，然后执行[步骤 3]。
     ```
     ps -ef|grep ssh-agent |grep -v grep |awk '{print $2}' | xargs kill -9
     ```
     
   
   
   
   
7. 排查OMS节点和host2节点**omm** 用户的信任清单（/home/omm/.ssh/authorized_keys），查看是否包含对端主机**omm** 用户的公钥文件（/home/omm/.ssh/id_rsa.pub）。
   
   - 是，联系OS专家处理。
   
   - 否，把对端主机**omm**用户的公钥添加到本机的信任清单中。
   
   
   
   
8. 把对端主机**omm** 用户的公钥添加到本机的信任清单中，然后依次在告警详情中的节点执行**ssh** 命令：**ssh** *host2* （host2为告警详情中除主OMS节点之外的其他节点），看是否连接失败。
   
   - 是，执行[步骤 10]。
   
   - 否，执行[步骤 9]。
   
   
   
   
9. 等待下一检查周期，观察告警是否自动清除。
   
   - 是，操作结束。
   
   - 否，执行[步骤 10]。
   
   
   
   
**收集故障信息。**
10. 在FusionInsight Manager界面，选择"运维 \> 日志 \> 下载"。
11. 在"服务"中勾选"Controller"，单击"确定"。
12. 单击右上角的![](https://support.huaweicloud.com/usermanual-mrs/zh-cn_image_0263895540.png)设置日志收集的时间范围，一般为告警产生时间的前后10分钟，单击"下载"。
13. 请联系运维人员，并发送已收集的故障日志信息。
 
#### 告警清除
此告警修复后，系统会自动清除此告警，无需手工清除。
#### 参考信息
节点互信异常处理方法如下：
![](https://support.huaweicloud.com/usermanual-mrs/public_sys-resources/notice_3.0-zh-cn.png)
- 本操作需使用**omm**用户执行。
- 如果节点间网络不通，请先解决网络不通的问题，可以检查两个节点是否在同一个安全组，是否有设置hosts.deny、hosts.allow 等。
 
1. 在两端节点执行ssh-add -l确认是否有identities信息。
   ![](https://support.huaweicloud.com/usermanual-mrs/zh-cn_image_0000001226576418.png "点击放大")
   - 是，执行[4]。
   
   - 否，执行[2]。
    
2. 如果没有identities信息，执行**ps -ef\|grep ssh-agent** 找到**ssh-agent** 进程，并停止该进程并等待该进程自动重启。
   ![](https://support.huaweicloud.com/usermanual-mrs/zh-cn_image_0000001227056330.png "点击放大")
   
3. 执行ssh-add -l查看是否已经添加identities信息，如果已经添加手动**ssh** 确认是否互信正常。
   ![](https://support.huaweicloud.com/usermanual-mrs/zh-cn_image_0000001271536445.png "点击放大")
   
4. 如果有identities信息，需要确认"/home/omm/.ssh/authorized_keys"中是否有对端节点"/home/omm/.ssh/id_rsa.pub"文件中的信息，如果没有手动添加。
5. 检查"/home/omm/.ssh"目录下的文件权限是否被修改。
6. 排查如下日志文件"/var/log/Bigdata/nodeagent/scriptlog/ssh-agent-monitor.log"。
7. 如果用户把**omm**的"/home"目录删除了，请联系MRS支撑人员修复。