基本概念
RAG
RAG(检索增强生成)是一种通过检索外部知识库来扩展模型知识范围的技术,利用非训练数据(如实时信息或内部文档)增强生成内容的准确性和时效性。其核心是通过向量检索获取相关知识片段输入大模型,从而减少生成幻觉并提供更可靠的响应。
Embedding模型
Embedding模型的核心功能是将文本(如单词、短语或句子)转化为稠密的向量(即N维数组),从而在向量空间中建立可计算的语义表示。这种向量化表示能够通过空间距离反映语义相似性(例如"鸟"和"鸽子"的向量更接近),并支持下游任务如相似匹配和语义推理。
Rerank模型
Rerank(重排序)模型是用于对初筛结果进行精细化排序的组件,它通过深度语义匹配优化检索结果的顺序。其核心作用是对召回阶段(如基于Embedding的向量检索)返回的Top K候选结果进行二次打分,结合上下文语义选出最相关的子集,显著提升最终排序的准确性。
搜索规划
包含2个功能,分别为多轮Query改写和意图分类。
- 多轮Query改写是指利用大型语言模型将用户当前查询与对话历史上下文结合,生成更完整、意图明确的查询的过程,同时支持复杂的Query原始问题拆解为多个问题
- 意图分类是指利用大型语言模型识别用户查询的意图。