知识库命中测试
AgentArts支持对创建的知识库进行命中测试,以评估知识库的效果和准确性。
建议在知识库创建完成后、正式用于智能体调用前,先进行命中测试验证效果。
本文将详细介绍知识库创建完成后如何执行命中测试操作。
典型场景:在智能客服场景中,通过命中测试验证知识库能否准确召回用户常见问题的相关文档,确保正式上线后检索效果符合预期。
费用说明
知识库检索召回依赖于创建知识库时设置的向量模型和精排模型。
AgentArts基础版不计费。
前提条件
已完成上传文档。
命中测试
系统将输入的问题转化为向量,并在知识库中查找与之语义最相近的文档切片,根据相似度计算匹配分值。
- 登录AgentArts智能体开发平台。
- 在左侧导航栏中选择“开发中心 > 组件库”,选择“知识库”页签。
- 在“知识库”界面,单击需要测试的知识库操作列的“命中测试”;或当知识库以卡片形式展示时,将鼠标悬浮在需要命中测试的知识库卡片上,单击“命中测试”。
- 在命中测试页面左侧文本框中输入问题,单击“命中测试”。
在页面右侧将根据不同的检索方式(语义检索、关键词检索、混合检索、FAQ检索),展示多条匹配的内容,并按照匹配分值降序排列。
- 语义检索:理解语义,召回相关内容。适用于自然语言提问。
- 关键词检索:精确匹配,结果可控。适用于精确匹配特定名词;
- 混合检索:结合语义检索和关键词检索的优势。适用于需要兼顾语义理解和精确匹配的场景。
- FAQ检索:直接返回预设答案。适用于标准问答对场景。
- 用户可以根据分值与匹配到的信息数量来评估当前知识库是否满足需求。
匹配分值范围为0~1,分值越接近1表示相关性越高。
如果测试结果为空或分值过低,建议检查文档切片设置是否合理,或尝试更换提问关键词。
系统将根据知识库配置自动选择检索方式,或您可以切换检索方式进行对比测试。
- 单击右上角的“查看历史”,可以查看用户输入的历史问题。在历史记录右侧,单击可删除或复制该记录。 图1 查看历史
常见问题
- 优化文档结构:无结构的文档,转化为有层次结构的文档。
- 修改知识库的分段设置。
- 可能原因:
- 阈值设置太高。
- 检索词语、模式不合适
- 精排模型不可用。
- 解决措施:
- 调整阈值大小。
- 修改检索词语、模式。
- 在KooSearch服务中确认精排模型正常。