运维与故障排除
日常运维管理
- 日志管理
- 定期检查日志账号的LTS日志汇聚状态,确认各成员账号日志正常接入。
- 关注LTS日志索引的存储用量,及时清理过期日志或调整存储策略。
- 确认日志转储到OBS的配置正常执行,保障长期存储合规。
- 监控维护
- 定期巡检统一监控大盘,关注资源运行状态和异常指标。
- 维护和优化告警规则,减少告警风暴和误报,提升告警有效率。
- 定期检查监控数据采集Agent的运行状态(icagent等)。
- 堡垒机管理
- 定期审计CBH操作日志,检查是否存在违规运维操作。
- 及时更新资源账户密码,保障资源账户安全。
- 维护CBH版本更新和安全补丁。
- 权限审计
- 定期审计运维用户的权限配置,确保遵循最小权限原则。
- 检查跨账号委托关系和RAM资源共享配置的安全性。
常见故障与排除
| 故障现象 | 可能原因 | 排除方法 |
|---|---|---|
| LTS日志汇聚异常 | 委托关系失效或权限不足 | 1. 检查Organizations中LTS可信服务是否已启用;2. 检查委托管理员账号是否有Organizations只读权限;3. 验证日志接收状态是否已开启 |
| CTS审计日志未汇聚 | 组织追踪器配置异常 | 1. 检查云审计可信服务是否已启用;2. 检查组织追踪器“应用到我的组织”开关是否开启;3. 验证转储OBS桶权限是否正确配置 |
| 统一监控大盘无数据 | AOM服务异常或Agent故障 | 1. 检查AOM服务是否正常开通;2. 检查业务账号中icagent是否正常运行;3. 验证跨账号资源接入权限配置 |
| 告警未触达 | SMN通知配置异常 | 1. 检查SMN主题订阅状态;2. 验证告警规则是否正确关联通知主题;3. 检查订阅终端是否有接收限制 |
| 堡垒机无法连接目标主机 | 网络不通或安全组限制 | 1. 检查跨账号网络是否打通(ER或对等连接);2. 检查安全组规则是否放行CBH到目标主机的端口;3. 验证目标主机状态和资源账户密码 |
| 跨账号接入日志数据偏差 | 数据同步延迟 | 数据未同步完成前,目标日志流数据与源日志流可能会有一定偏差,建议1小时后查看接入数据 |
| 日志汇聚配置冲突 | 日志流映射规则冲突 | 删除日志流对应的接入规则后重新配置,避免源日志流与目标日志流存在双向映射冲突 |
优化建议
- 成本优化:定期分析LTS日志存储量,对低价值日志设置较短的保存周期,合理控制OBS存储成本。
- 告警优化:基于实际运维经验持续优化告警阈值和静默规则,减少告警噪声。
- 自动化扩展:随着业务规模增长,逐步引入COC自动化运维能力,通过自动化脚本和作业管理减少人工干预。
- 架构演进:小型企业方案可按升级路径逐步演进到中型企业架构,增加独立的运维监控账号。