文档首页/ 智果(AgentArts)智能体平台/ 常见问题/ 观测与优化/ 修改Prompt/更换模型后,如何确认智能体能力是提升还是退化
更新时间:2026-09-14 GMT+08:00
分享

修改Prompt/更换模型后,如何确认智能体能力是提升还是退化

问题现象

调整提示词、更换底层模型、增删工具之后,无法量化判断新版本效果,上线存在幻觉、答非所问、工具调用错误风险。

问题原因

单次评估只能看到当前版本结果,缺少版本横向对比。

解决方案

  1. 基于同一评测集,分别对新旧版本的智能体执行离线评估任务。创建评估任务请参见创建离线评估任务。
  2. 使用评估任务结果对比功能,对照两份评估报告,识别能力提升点与退化点,辅助版本迭代决策。对比操作具体请参见对比评估任务结果。

相关文档