创建工具优化任务
当您确认Agent的工具调用存在匹配错误、调用规则不清等问题,且根因在于工具的描述信息不够准确时,可以创建一个工具优化任务。
任务创建并提交后,平台将自动从历史Trace和工具调用日志中提取数据,分析工具调用的错误模式,并针对存在问题的工具生成优化后的描述文案信息,供您使用。
操作步骤
- 填写工具优化任务基础信息。
在AgentArts左侧导航栏中选择“观测与优化 > 优化”,在“工具优化”页签单击“创建工具优化”。
填写任务名称、描述。
支持添加标签,标签用于对轨迹分析任务进行自定义标记和分类管理。每个标签包含一个“键”和一个“值”,可按需添加。
图1 创建工具优化任务
- 配置优化对象。
单击“选择优化对象”,在弹出的选择器中选择需要分析智能体。轨迹分析支持以下类型的智能体,请根据您的Agent构建方式选择对应类型:
表1 智能体类型 类型
适用范围
Trace上报方式
单智能体
在AgentArts平台通过低代码方式创建的单智能体。
平台自动上报
智能体运行时
使用LangChain等框架本地开发,托管至AgentArts运行时的智能体。
托管后自动上报
第三方托管
在AgentArts平台以外独立运行,通过观测OpenAPI上报数据的智能体。
需手动对接上报
- 轨迹分析依赖历史会话Trace数据。创建任务前,请确保目标智能体在指定时间范围内已产生足够量的Trace数据,否则分析结果的覆盖度和准确性将受到影响。您可在AgentArts平台“观测与优化 > 观测”功能中查看已上报的Trace数据。
- 单智能体当前仅支持采集通过API调用产生的Trace数据,暂不支持控制台预览调试产生的数据。
- 选择委托。
在“委托”下拉框中选择已创建的IAM信任委托,用于授权平台访问该Agent的Trace数据。如未创建,单击“前往创建”跳转至IAM平台完成创建后返回。
创建委托时各参数要求如下:
- 委托名称:由用户自定义
- 信任主体类型:选择“云服务”
- 云服务:填写“智果Agent优化”
- 其他参数:使用默认配置
委托创建完成后,按照页面提示进行授权,授权项选择“AgentArtsRLAgentTuningTaskAgencyPolicy”。
- 配置数据采样信息。
设置采样Trace的时间范围,系统将从该时间段内的Trace中提取工具调用数据进行分析。
单击“添加筛选条件”,可按特定属性过滤目标Trace,将分析范围缩小到您关注的会话子集。例如,仅分析特定用户群或特定业务流程的会话。
设置数据采样比例、采样数据上限。首次分析可使用默认值;若数据量较少,可适当提高比例。
图2 配置优化对象与数据采集信息
- 确认所有配置无误后,单击“保存并运行”,任务开始运行。
您可在工具优化任务列表中查看任务的运行状态。