测试知识库命中率
AgentArts支持对创建的知识库进行命中率测试,以评估知识库的效果和准确性。
本文将详细介绍本地知识库创建完成后如何执行命中测试操作。
费用说明
知识库检索召回,是根据创建知识库设置的向量模型、精排模型进行召回。
AgentArts基础版不计费。
前提条件
已完成上传文档。
命中测试
- 登录AgentArts智能体开发平台。
- 在左侧导航栏中选择“开发中心 > 组件库”,选择“知识库”页签。
- 在“知识库”界面,单击需要测试的知识库操作列的“命中测试”。
当知识库以卡片形式展示时,将鼠标悬浮在需要命中测试的知识库卡片上,单击“命中测试”。
- 在命中测试页面左侧文本框中输入问题,单击“命中测试”。
在页面右侧将根据不同的检索方式(语义检索、关键词检索、混合检索、FAQ检索),展示多条匹配的内容,并按照匹配分值降序排列。
- 用户可以根据分值与匹配到的信息数量来评估当前知识库是否满足需求。
匹配分值范围为0~1,分值越接近1表示相关性越高。
如果测试结果为空或分值过低,建议检查文档切片设置是否合理,或尝试更换提问关键词。
系统将根据知识库配置自动选择检索方式,或您可以切换检索模式进行对比测试。
- 单击右上角的“查看历史”,可以查看用户输入的历史问题。
图1 查看历史
在历史记录的右侧,单击
可删除该记录。在历史记录的右侧,单击
可复制该记录的内容。
常见问题
- 优化文档结构:无结构的文档,转化为有层次结构的文档。
- 修改知识库的分段设置。
- 可能原因:阈值设置太高;检索词语、模式不合适;精排模型不可用。
- 解决措施:调整阈值大小;修改检索词语、模式;在KooSearch服务中确认精排模型正常。