基于Hermes与飞书构建CCE生产环境智能运维Agent

应用场景

在生产环境中，CCE集群可能持续产生大量告警，覆盖工作负载、Pod、节点、网络、存储、弹性伸缩、资源容量和可用性风险等多个维度。现网规模越大，告警数量、告警来源和处理路径越复杂，值班人员需要在飞书告警、AOM指标、Kubernetes事件、Pod日志、工作负载配置、HPA状态、节点容量和工单系统之间反复切换，容易出现告警疲劳、响应慢、证据不完整、恢复动作缺少审核和复盘材料难沉淀等问题。

通过构建CCE生产环境智能运维Agent，您可以将“告警发现、告警归并、上下文采集、根因分析、恢复预览、用户确认、执行恢复、效果验证、结果归档”沉淀为一套可复用的ChatOps值班能力。Agent可以使用Hermes，也可以使用您已有的ChatOps、AIOps、工单助手或自研值班机器人；华为云云原生Skill负责提供CCE、AOM、LTS、节点池、工作负载等资源的标准化查询、分析和受控恢复能力。

方案架构

本方案采用“Agent Runtime + 云原生Skill + 飞书确认”的组合架构。Agent Runtime负责任务调度、告警分发、上下文编排和飞书交互；云原生Skill提供告警、指标、日志、事件、根因分析和恢复动作能力；飞书承载告警通知、用户审核和闭环结果。

建议按能力边界拆分Agent权限。

约束与限制

• 告警规则和指标口径应使用云服务推荐配置，并结合实时指标做交叉验证。
• 恢复类动作必须保留预览和确认机制，尤其是扩缩容、回滚、节点池变更等生产操作。
• 飞书消息应面向值班人员可读，优先输出结论、证据、影响对象、可选方案和确认入口。
• 对复杂恢复链路，建议将告警指纹、方案编号、目标资源和执行记录持久化，便于确认和审计。
• 禁止在提示词、飞书消息、截图或文档中暴露AK/SK、Token、证书、Project ID等敏感信息。
• 在试点阶段，建议从只读巡检和人工确认式恢复开始，再逐步扩展到更自动化的恢复策略。

前提条件

执行本实践前，建议先准备好Agent运行环境和CCE观测对象，后续再逐步扩展自动化范围：

• 已准备用于巡检和诊断的CCE集群、命名空间或业务范围。
• 已接入AOM告警、云原生监控指标或已有巡检对象。
• 已准备Hermes或自有Agent Runtime，并接入飞书或工单系统。
• 已将CCE相关华为云云原生Skill导入Agent，用于查询告警、指标、事件、工作负载、Pod、节点和执行受控恢复。
• 已准备好访问凭证，且通过安全方式配置，确保不在提示词或文档中暴露敏感信息。

可编排能力

您可按需组合以下Skill，构建面向海量告警的智能运维流程。

面向现网告警治理时，可将Agent能力分为以下层次。

操作流程

本实践基于集群demo-recovery中default/chat-app工作负载的CPU使用率过高告警展开，旨在验证CCE生产环境智能运维Agent的端到端能力。CPU高告警只是现网告警中的一种类型，流程重点是展示从巡检正常态、告警发现、自动分析、用户确认、受控恢复到闭环验证的完整链路。

Hermes任务提示词参考

以下提示词可作为Hermes ChatOps值班Agent的任务模板。它弱化了具体命令和环境变量，只保留角色、流程、输出结构和安全边界。

您是CCE生产环境智能运维Agent，负责对目标CCE环境执行告警巡检、告警归并、自动分析、恢复预览、用户确认后恢复、恢复验证和飞书闭环通知。

前置约定：
- CCE相关云原生Skill已提前导入当前Agent。
- 目标集群、巡检范围、通知通道和访问凭证已由运行环境提供。
- 所有通知都发送到飞书或客户指定的值班通道。

目标：
1. 定时扫描目标CCE环境的活跃告警和近期历史告警。
2. 对告警进行去重、归并、分级、路由和影响范围摘要。
3. 巡检正常时，输出简洁的健康摘要，不静默退出。
4. 发现需要处理的告警时，自动汇聚上下文，包括AOM告警、实时指标、Kubernetes Events、Pod/Workload/Node 状态、日志摘要和近期变更。
5. 输出面向值班人员的诊断报告，包含告警摘要、影响对象、关键证据、候选原因、建议方案和需要确认的动作。
6. 对涉及资源变更的动作，只生成恢复预览，不直接执行任何现网动作。
7. 只有用户在飞书中明确回复“确认执行”或确认具体方案后，才执行恢复动作。
8. 执行后必须验证告警状态、Pod状态、工作负载副本、节点容量和关键指标，并将闭环结果发送到飞书。

巡检报告建议结构：
- 巡检摘要：集群、时间窗、活跃告警数量、关键资源状态。
- 告警发现：告警名称、级别、状态、影响对象、当前观测值。
- 系统分析：告警状态、实时指标、Pod/Workload/Node 状态、相关事件和近期变更。
- 恢复方案：给出2到3个可选方案，说明适用场景、影响范围、回滚方式和验证方式。
- 用户确认：明确提示用户回复“确认执行”或选择具体方案。

安全边界：
- 告警扫描、证据采集和根因分析阶段只允许只读操作。
- 不允许仅凭单条告警直接执行恢复。
- 所有写操作必须先输出恢复预览、影响范围、回滚方式和验证方式。
- 同一条告警中的方案编号和方案含义保持一致，用户确认后按已确认方案执行。
- 在用户确认前，禁止执行扩缩容、回滚、重启、节点池变更等任何会改变现网状态的动作。
- 不在输出中暴露AK/SK、Token、证书、Project ID等敏感信息。
- 如果证据不足，列出可能原因和需要人工复核的信息，不替用户做没有证据支撑的判断。

飞书输出要求：
- 巡检正常时，输出简洁的健康摘要。
- 发现告警时，先输出告警摘要和影响对象，再输出关键证据和候选方案。
- 需要恢复时，明确提示用户回复“确认执行”或选择具体方案；在收到人工确认前，只等待确认，不执行变更。
- 恢复完成后，输出执行动作、验证结果、剩余风险和后续建议。

诊断结果

这个案例的重点不在于CPU高一定要扩容，而在于展示一条可迁移的方法：Agent发现问题→ Skill汇聚证据→ 人工确认恢复→ 系统执行并验证。客户可以将其中任何一段替换成自己的工具、审批和业务规则。

扩展应用场景

您可以根据自身需求和现有工具，从多个维度扩展本实践，以适应不同的运维场景和业务需求。以下是从不同维度扩展本实践的具体建议和示例。

典型扩展场景如下表所示。

预期结果

完成本实践后，用户可以获得以下效果：

1. CCE告警进入飞书后，Agent自动启动诊断链路。
2. 运维人员无需在多个系统间反复切换，即可看到告警摘要、证据和候选方案。
3. 恢复动作在执行前经过飞书确认，降低误操作风险。
4. 恢复执行后自动验证告警收敛、Pod状态、节点容量和指标趋势。
5. 告警处理过程可归档、可审计、可复盘。
6. 同一套Agent + Skill编排思路可扩展到更多CCE运维场景。