查看Agent评测报告
Agent评测任务创建成功后,可以查看评测任务报告,具体步骤如下:
- 登录ModelArts Studio平台,在“我的空间”模块,单击进入所需空间。
图1 进入空间
- 在左侧导航栏中选择“评测中心 > 评测任务”的“自动评测”页签。
- 单击操作列“评测报告”,在“评测报告”页面,可以查看评测任务的基本信息及评测概览。
表1 Agent自动评测指标说明-基于规则 模型类型
评测指标(自动评测-基于规则)
指标说明
Agent评测
PRECISION
问答匹配的精确度,生成句子与实际句子相比的精确程度,数值越高,表明Agent性能越好。
表2 Agent自动评测指标说明-基于大模型 评测类型
评测指标(自动评测-基于规则-基于大模型)
指标说明
Agent评测
平均值
数据集中所有用例得分的平均值。
中位数
数据集中所有用例得分的中位数。
标准差
数据集中所有用例得分的标准差。
- 导出评测报告。
- 在“评测报告”页面,单击“导出”,可按设置导出评测报告,单击“确定”。
- 单击右侧“下载记录”,单击操作列“下载”,可将评测报告下载到本地。