更新时间:2026-11-02 GMT+08:00
分享

在CES监控模型优化任务

功能说明

AgentArts在执行模型优化任务时,系统会记录智能体的执行过程(轨迹),然后根据预设的评分规则,自动给这次的执行结果打分。为便于用户监控这些关键环节的运行状态,AgentArts会将相关指标上报至华为云云监控服务(CES)。本节介绍上报CES的监控指标和告警信息。

命名空间

SYS.AgentArts

监控指标

支持的监控指标

表1 模型优化功能支持的监控指标

指标ID

指标名称

指标含义

取值范围

单位

进制

维度

监控周期(单位秒)

agent_invoke_error_count

智能体调用失败次数

当前模型优化任务智能体调用失败次数

≥0

count

1

agentarts_model_tuning_task_id

300

acquire_agent_trace_error_count

获取智能体轨迹失败次数

当前模型优化任务获取智能体轨迹失败次数

≥0

count

1

agentarts_model_tuning_task_id

300

execute_reward_code_error_count

执行代码奖励计算失败次数

当前模型优化任务执行代码奖励计算失败次数

≥0

count

1

agentarts_model_tuning_task_id

300

step_train_reward_value

步骤训练奖励值

当前模型优化任务步骤训练阶段的奖励值

≥0

-

1

agentarts_model_tuning_task_id

300

step_eval_reward_value

步骤验证奖励值

当前模型优化任务步骤验证阶段的奖励值

≥0

-

1

agentarts_model_tuning_task_id

300

step_time_consumption

步骤耗时

当前模型优化任务步骤的耗时

≥0

s

1

agentarts_model_tuning_task_id

300

查看监控指标

  1. 登录云监控服务(CES)控制台。
  2. 左侧导航栏选择“云监控服务”,并在服务列表中选择“AgentArts”服务。

    注意,如果超过一定时长(大于3小时)未上报监控数据,将不会展示在服务列表中。

    图1 选择监控服务

  3. 进入“模型优化任务”维度。

    图2 选择指标查看维度

  4. 选择任务实例,查看监控指标。

告警配置

默认告警模板

AgentArts 服务已预置默认告警模板“AgentArts服务默认告警模板(模型优化任务)”,包含以下告警策略,用户可直接基于模板创建告警规则:

表2 告警模板说明

监控指标

触发条件

持续周期

告警级别

抑制策略

agent_invoke_error_count(智能体调用失败次数)

原始值 > 1

连续 3 个周期

重要

每小时告警一次

acquire_agent_trace_error_count(获取智能体轨迹失败次数)

原始值 > 1

连续 3 个周期

重要

每小时告警一次

execute_reward_code_error_count(执行代码奖励计算失败次数)

原始值 > 1

连续 3 个周期

重要

每小时告警一次

创建告警规则

  1. 登录云监控服务(CES)控制台。
  2. 在左侧导航栏中选择“告警 > 规则配置”,在规则配置页面单击“创建告警规则”。

    图3 创建告警规则

  3. 参考下表配置告警规则。

    表3 告警规则说明

    参数

    配置说明

    名称

    设置告警规则的名称。

    告警类型

    选择“指标”。

    云产品

    选择“AgentArts”。

    资源层级

    选择“云产品”。

    也可选择“子维度”,当前模型优化任务支持的维度请参考表1的维度列。

    监控范围

    选择“全部资源”。

    也可以通过指定资源,选择具体的模型优化任务;或者通过设置资源分组,将多个模型优化任务放在分组中,统一监控。

    告警策略

    选择使用模板:AgentArts服务默认告警模板(模型优化任务)

    推荐使用模板,或在模板基础上修改告警策略。

    发送通知

    开启发送通知。支持通过短信、邮件、语音通知等方式进行通知。

    高级配置-归属企业项目

    选择“default”。

  4. 配置完成后,单击“立即创建”。

告警参数说明

表4 告警参数说明

参数

说明

阈值

触发告警的指标值,如智能体调用失败次数 > 1

持续周期

连续多少个上报周期(5 分钟)满足条件才告警

告警级别

紧急 / 重要 / 次要 / 提示

抑制策略

同一告警多久发送一次通知(如每小时)

告警处理指导

告警:智能体调用失败次数(agent_invoke_error_count)

  • 告警含义:模型优化任务的智能体调用连续失败次数超过阈值(>1 持续 3 个周期),任务可能无法正常完成训练。
  • 可能影响:训练质量下降,任务可能因智能体调用异常而失败或卡住。
  • 处理步骤:
    1. 登录AgentArts控制台,进入模型优化任务列表,定位告警对应的任务。
    2. 查看任务运行日志,定位智能体调用失败的报错信息(如Agent服务异常、参数错误、依赖服务不可用)。
    3. 根据报错原因修复:如调整任务参数、恢复依赖服务、更换Agent配置。
    4. 如无法快速修复,可停止任务避免继续产生失败,修复后重新发起优化任务。

告警:获取智能体轨迹失败次数(acquire_agent_trace_error_count)

  • 告警含义:任务获取智能体运行轨迹连续失败超过阈值,训练依赖轨迹数据无法正常获取。
  • 可能影响:奖励计算和训练推进受阻,任务可能停滞或失败。
  • 处理步骤:
    1. 定位告警对应任务,查看轨迹获取相关日志。
    2. 排查轨迹数据源(AgentArts观测功能)是否正常、会话信息是否有效。
    3. 确认轨迹查询参数(会话ID、时间范围)是否正确;
    4. 修复后观察下一周期告警是否恢复;持续异常可停止任务排查。

告警:执行代码奖励计算失败次数(execute_reward_code_error_count)

  • 告警含义:任务执行奖励计算代码连续失败超过阈值,奖励值无法正常产出。
  • 可能影响:训练无法获取有效奖励信号,模型优化效果受影响甚至失败。
  • 处理步骤:
    1. 定位告警对应任务,查看奖励计算执行日志。
    2. 排查奖励函数代码是否存在异常(如运行报错、依赖库缺失、入参格式不符)。
    3. 修复奖励函数代码或调整配置,重新验证奖励计算。

相关文档