ALM-12110 获取ECS临时ak/sk失败
告警解释
meta组件每五分钟调用ECS接口获取AK/SK信息,并缓存在meta中,在AK/SK过期失效之前会再次调用ECS接口进行更新,如果连续三次调用接口失败,会产生该告警。
当meta服务调用ECS接口成功时,告警清除。
告警属性
告警ID |
告警级别 |
是否自动清除 |
---|---|---|
12110 |
重要 |
是 |
告警参数
参数名称 |
参数含义 |
---|---|
来源 |
产生告警的集群名称。 |
服务名 |
产生告警的服务名称。 |
角色名 |
产生告警的角色名称。 |
主机名 |
产生告警的主机名称。 |
对系统的影响
集群获取不到最新的临时AK/SK信息,在存算分离场景下,可能导致访问OBS文件失败,引起上层组件业务无法正常处理数据。
可能原因
- MRS集群meta角色状态异常。
- MRS集群绑定过IAM委托且访问过OBS,后续委托被解绑,导致当前集群未绑定委托。
处理步骤
检查meta角色状态
- 在集群的FusionInsight Manager页面,选择“运维 > 告警 > 告警”,单击此告警所在行的
,确定该告警的主机地址。
- 选择“集群 > 服务 > meta”,单击“实例”,查看告警产生的主机对应的meta角色状态是否正常。
- 勾选状态异常的角色,选择“更多 > 重启实例”,重启异常状态的meta角色。
重启期间服务业务可能受损或中断,建议选择业务低峰期操作。
- 角色重启完成后,查看当前告警是否恢复。
- 是,操作结束。
- 否,执行步骤 5。
- 使用root用户登录步骤 1查询到主机地址,查看“/var/log/Bigdata/meta/mrs-meta.log”日志中是否有报错,根据日志进行排查处理。
cat /var/log/Bigdata/meta/mrs-meta.log
- 根据日志信息排查故障后,查看当前告警是否恢复。
- 是,操作结束。
- 否,执行步骤 7。
重新绑定IAM委托
- 登录MRS服务管理控制台。
- 选择“现有集群”,单击集群名称,进入集群概览页面,在运维管理区域,查看当前集群是否绑定了IAM委托。
- 单击“选择委托”,重新绑定具有OBS访问权限的IAM委托,等待几分钟后查看告警是否恢复。
- 是,操作结束。
- 否,执行步骤 10。
收集故障信息