在CES监控模型优化任务
功能说明
AgentArts在执行模型优化任务时,系统会记录智能体的执行过程(轨迹),然后根据预设的评分规则,自动给这次的执行结果打分。为便于用户监控这些关键环节的运行状态,AgentArts会将相关指标上报至华为云云监控服务(CES)。本节介绍上报CES的监控指标和告警信息。
命名空间
SYS.AgentArts
监控指标
支持的监控指标
| 指标ID | 指标名称 | 指标含义 | 取值范围 | 单位 | 进制 | 维度 | 监控周期(单位秒) |
|---|---|---|---|---|---|---|---|
| agent_invoke_error_count | 智能体调用失败次数 | 当前模型优化任务智能体调用失败次数 | ≥0 | count | 1 | agentarts_model_tuning_task_id | 300 |
| acquire_agent_trace_error_count | 获取智能体轨迹失败次数 | 当前模型优化任务获取智能体轨迹失败次数 | ≥0 | count | 1 | agentarts_model_tuning_task_id | 300 |
| execute_reward_code_error_count | 执行代码奖励计算失败次数 | 当前模型优化任务执行代码奖励计算失败次数 | ≥0 | count | 1 | agentarts_model_tuning_task_id | 300 |
| step_train_reward_value | 步骤训练奖励值 | 当前模型优化任务步骤训练阶段的奖励值 | ≥0 | - | 1 | agentarts_model_tuning_task_id | 300 |
| step_eval_reward_value | 步骤验证奖励值 | 当前模型优化任务步骤验证阶段的奖励值 | ≥0 | - | 1 | agentarts_model_tuning_task_id | 300 |
| step_time_consumption | 步骤耗时 | 当前模型优化任务步骤的耗时 | ≥0 | s | 1 | agentarts_model_tuning_task_id | 300 |
查看监控指标
- 登录云监控服务(CES)控制台。
- 左侧导航栏选择“云监控服务”,并在服务列表中选择“AgentArts”服务。
注意,如果超过一定时长(大于3小时)未上报监控数据,将不会展示在服务列表中。
图1 选择监控服务
- 进入“模型优化任务”维度。 图2 选择指标查看维度
- 选择任务实例,查看监控指标。
告警配置
默认告警模板
AgentArts 服务已预置默认告警模板“AgentArts服务默认告警模板(模型优化任务)”,包含以下告警策略,用户可直接基于模板创建告警规则:
| 监控指标 | 触发条件 | 持续周期 | 告警级别 | 抑制策略 |
|---|---|---|---|---|
| agent_invoke_error_count(智能体调用失败次数) | 原始值 > 1 | 连续 3 个周期 | 重要 | 每小时告警一次 |
| acquire_agent_trace_error_count(获取智能体轨迹失败次数) | 原始值 > 1 | 连续 3 个周期 | 重要 | 每小时告警一次 |
| execute_reward_code_error_count(执行代码奖励计算失败次数) | 原始值 > 1 | 连续 3 个周期 | 重要 | 每小时告警一次 |
创建告警规则
- 登录云监控服务(CES)控制台。
- 在左侧导航栏中选择“告警 > 规则配置”,在规则配置页面单击“创建告警规则”。 图3 创建告警规则
- 参考下表配置告警规则。
表3 告警规则说明 参数
配置说明
名称
设置告警规则的名称。
告警类型
选择“指标”。
云产品
选择“AgentArts”。
资源层级
选择“云产品”。
也可选择“子维度”,当前模型优化任务支持的维度请参考表1的维度列。
监控范围
选择“全部资源”。
也可以通过指定资源,选择具体的模型优化任务;或者通过设置资源分组,将多个模型优化任务放在分组中,统一监控。
告警策略
选择使用模板:AgentArts服务默认告警模板(模型优化任务)
推荐使用模板,或在模板基础上修改告警策略。

发送通知
开启发送通知。支持通过短信、邮件、语音通知等方式进行通知。
高级配置-归属企业项目
选择“default”。
- 配置完成后,单击“立即创建”。
告警参数说明
| 参数 | 说明 |
|---|---|
| 阈值 | 触发告警的指标值,如智能体调用失败次数 > 1 |
| 持续周期 | 连续多少个上报周期(5 分钟)满足条件才告警 |
| 告警级别 | 紧急 / 重要 / 次要 / 提示 |
| 抑制策略 | 同一告警多久发送一次通知(如每小时) |
告警处理指导
告警:智能体调用失败次数(agent_invoke_error_count)
- 告警含义:模型优化任务的智能体调用连续失败次数超过阈值(>1 持续 3 个周期),任务可能无法正常完成训练。
- 可能影响:训练质量下降,任务可能因智能体调用异常而失败或卡住。
- 处理步骤:
- 登录AgentArts控制台,进入模型优化任务列表,定位告警对应的任务。
- 查看任务运行日志,定位智能体调用失败的报错信息(如Agent服务异常、参数错误、依赖服务不可用)。
- 根据报错原因修复:如调整任务参数、恢复依赖服务、更换Agent配置。
- 如无法快速修复,可停止任务避免继续产生失败,修复后重新发起优化任务。
告警:获取智能体轨迹失败次数(acquire_agent_trace_error_count)
- 告警含义:任务获取智能体运行轨迹连续失败超过阈值,训练依赖轨迹数据无法正常获取。
- 可能影响:奖励计算和训练推进受阻,任务可能停滞或失败。
- 处理步骤:
- 定位告警对应任务,查看轨迹获取相关日志。
- 排查轨迹数据源(AgentArts观测功能)是否正常、会话信息是否有效。
- 确认轨迹查询参数(会话ID、时间范围)是否正确;
- 修复后观察下一周期告警是否恢复;持续异常可停止任务排查。
告警:执行代码奖励计算失败次数(execute_reward_code_error_count)
- 告警含义:任务执行奖励计算代码连续失败超过阈值,奖励值无法正常产出。
- 可能影响:训练无法获取有效奖励信号,模型优化效果受影响甚至失败。
- 处理步骤:
- 定位告警对应任务,查看奖励计算执行日志。
- 排查奖励函数代码是否存在异常(如运行报错、依赖库缺失、入参格式不符)。
- 修复奖励函数代码或调整配置,重新验证奖励计算。