创建知识库

前提条件

• 通过OBS接入数据时，操作账号需获得OBS（对象存储服务）只读权限，具体操作请参见对其他账号授予桶的读写权限。
• 需具备充足的知识库容量包资源（包含OBS存储配额和向量库存储配额，两者比例为5:1），每个租户默认1G的向量库存储配额，默认配额用完后，请参考购买AppStage购买知识库容量包。
• 需要具备AI原生应用引擎管理员或开发者权限，权限申请操作请参见AppStage组织成员申请权限。

创建知识库

1. 在AI原生应用引擎的左侧导航栏选择“知识中心 > 知识库”，单击“创建知识库”。
2. 在“创建知识库”页面，参照表1进行基础配置，并根据选择的数据来源进行源数据接入配置或添加知识数据集。

   表1 知识库基础配置参数说明

   参数名称	参数说明
   知识库名称	自定义知识库的名称，支持中英文、数字、下划线（_），长度2-50个字符，以中英文、数字开头。
   知识库描述	知识库的相关信息描述。只能包含英文、中文、数字、下划线、中划线、空格及,.?:;"'：；“”’‘，。？、()（）/
   RAG类型	GraphRAG类型仅支持用于“文档”类型的数据。 VectorRAG：向量RAG，是一种结合了向量化和大语言模型的RAG技术。VectorRAG将非结构化的数据转化为结构化的向量空间，利用向量库实现高效的信息检索。 GraphRAG：知识图谱RAG，是一种结合了知识图谱和大语言模型的RAG技术。GraphRAG能够处理各种类型的文档，从中提取实体（文档中具体的对象或概念）、关系以及文本内容构建知识图谱（一种结构化的知识表示方式），从而增强大语言模型对复杂信息的理解和推理能力。
   数据来源	知识库的数据来源。 接入源数据，参考表2接入源数据。 选择知识数据集，参考表3添加知识数据集。
   数据类型	当数据来源为“接入源数据”时，配置此参数。 支持接入的源数据类型： 文档：支持.pdf、.txt（只支持UTF-8）、.csv（只支持UTF-8）、.xlsx、.docx、.pptx、.html、.json、.xml、.md格式，单个文件最大为10M，总上传大小最大为500M。 图片：支持.png、.jpg、.jpeg、.gif、.webp、.bmp格式，单张图片最大为10M，总上传大小最大为200M。 图片-摘要：支持本地文件上传.png、.jpg、.jpeg、.gif、.webp、.bmp格式，需对图片填写摘要信息，单张图片最大为10M，总上传大小最大为300M。 视频-摘要：支持本地文件上传.mp4、.webm、.wmv、.mov、.avi格式，需对视频填写摘要信息，单个视频最大为100M，总上传大小最大为300M。

   表2 接入源数据参数说明

   参数名称	参数说明
   数据接入
   接入方式	选择数据集的接入方式。支持以下两种方式： 本地上传 OBS接入 仅支持使用区域位置为北京四的OBS桶接入数据。
   数据文件	当接入方式选择“本地上传”时，需配置此参数。 单击“文件上传”选择本地文件进行上传，支持上传的文件类型请参考表1的“数据类型”。
   文件类型	当接入方式选择“本地上传”时，无需配置，根据上传的文件自动识别文件类型。 当接入方式选择“OBS接入”时，选择接入的文档、图片的格式。
   OBS桶名	当接入方式选择“OBS接入”时，需配置此参数。 在下拉列表中选择数据所在的OBS桶名。
   OBS路径	当接入方式选择“OBS接入”时，需配置此参数。 在下拉列表中选择数据所在的具体OBS路径。
   调度类型	当接入方式选择“OBS接入”时，需配置此参数。 可选如下两种类型： 一次性调度 定时调度
   版本更新模式	当“调度类型”选择“定时调度”时，需配置此参数。 覆盖模式：每次调度成功，会覆盖唯一的版本。 多版本模式：当OBS桶内内容发生变化时，调度成功后会生成一个新版本。
   执行周期	当“调度类型”选择“定时调度”时，需配置此参数。 设置执行周期，支持选择为天、周。
   执行时间	当“调度类型”选择“定时调度”时，需配置此参数。 当执行周期为“天”时，设置每日开始执行的时间。 当执行周期为“周”时，指定每周周几，并设置当日开始执行的时间。
   立即执行	当“调度类型”选择“定时调度”时，需配置此参数。 选择是否立即执行。
   数据加工
   数据清洗（可选）	数据类型选择为“文档”、“图片-摘要”、“视频-摘要”时，显示此参数。 在下拉列表可选以下（支持多选）： 清除URL和邮件地址 清除连续的空格，换行符和制表符 清除不可见字符 规范化空格 清除乱码 清除网页标识符 清除表情
   PDF预处理	当接入的文档类型为.pdf时，显示此参数。 提取PDF富媒体：提取PDF文件中的富媒体（图片、表格等）。 无处理
   智能匹配图表	当“PDF预处理”选择为“提取PDF富媒体”时，显示此参数。 数据切分时，有助于对PDF文件中的图片、表格进行完整提取。
   数据切分	数据类型选择为“文档”时，显示此参数。 为各文档格式选择一种切分方式，默认为自动切分。 自动切分：按照系统默认预设的规则和分隔符切分。 标题切分：按标题级别分块，分块后的内容按照自定义规则切分（仅docx格式的文档支持标题切分）。 自定义切分：自定义分段规则，分隔符，以及分段长度等参数。
   标题层级深度	数据切分模式为“标题切分”时，需配置此参数。 例如文本包含最多5级标题，选择的标题层级深度为3，则会分别将所有3级标题下的内容合并成文本块，文本块作为一个整体执行后续切分操作。
   标题保存方式	数据切分模式为“标题切分”时，需配置此参数。 多标题组合：多级标题用特定符号组合：1级标题-2级标题-3级标题-…-文本 最后一级标题：仅组合最后一级标题：最后一级标题-文本
   文本切分策略	数据切分模式为“自定义切分”、“标题切分”时，需配置此参数。在下拉列表可选以下策略： 递归切分：所选分隔符先后作为优先级顺序，优先高的先切分，切分后大于最大长度的分段再用优先级低的分隔符切分，如此往复。 等价切分：分隔符无优先级，使用所选的所有分隔符切割，合并至分段最大长度。
   分段分隔符	数据切分模式为“自定义切分”、“标题切分”时，需配置此参数。 设置用于文本分段的分隔符号。输入的分隔符不允许包含以下特殊字符*./$^?+以及带有\的分隔符，仅支持输入\n，用于表示按行分隔，其它诸如\\n，\n\n等均不支持。
   包含分隔符	切分后的分段内容中是否包含分隔符，选择“包含”或“不包含”。
   分段长度	数据切分模式为“自定义切分”、“标题切分”时，需配置此参数。 用于设置文本分段后每段的长度。
   分段重叠长度	数据切分模式为“自定义切分”、“标题切分”时，需配置此参数。 用于设置当前分段开头与上一个分段结尾重叠部分的长度。
   索引配置
   向量化模型	选择向量化模型，向量化模型可以将文本数据转换为数值向量，常用于将文本转换为机器可以处理的形式，以便进行各种任务，如文本分类、情感分析、机器翻译等。 当前模型仅支持向量化512 token的内容，对应的中文约为512个字，英文与符号约900个字符，请注意分片长度。
   长文本策略	默认模式：如果待向量化分片字段token长度超过了向量化模型限制的token总数，则创建知识库失败。 截断模式：如果待向量化分片字段token长度超过向量化模型限制的token总数，则进行截断，取前top k个token。 智能模式：如果待向量化分片字段token超过向量化模型限制的token总数，首先利用对话大模型对超长分片进行重写，如果仍然超长则进入截断模式。
   检索配置	当RAG类型为“VectorRAG”时，支持配置此参数；RAG类型为“GraphRAG”时，默认为“语义检索”方式。
   检索方式	当数据类型为“图片”时，不支持选择混合检索和全文检索。 混合检索：同时使用语义检索与全文检索，并对结果进行综合排序。 语义检索：使用向量进行文本语义查询，即调用向量数据库根据向量的相似性检索。 全文检索：使用关键字进行文本匹配，适合查找一些关键词和主题语的数据。
   知识图谱配置	当RAG类型为“GraphRAG”时，需要配置此参数。
   实体抽取模型	选择实体抽取模型。从文本中提取实体（文档中具体的对象或概念）、关系以及文本内容，用于构建知识图谱。
   实体抽取提示语	默认：模型按照默认的提示语要求，对文本内容进行抽取。 自定义：对默认的提示语进行编辑，自定义实体抽取方式。
   高级配置	开启“高级配置”开关，可以对已切分好的分片，提取相关内容作为检索字段、文本过滤字段或向量化字段。
   切片提取模式	数据类型选择为“文档”时，显示此参数。 智能提取：通过大语言模型提取分片内的问题与回答，效果由大模型决定。目前仅支持提取问题和答案，且耗时较长。 规则提取：按照用户配置的提取规则对切片内容进行提取。
   切片内容示例	数据类型选择为“文档”时，显示此参数。 切片内容示例，用以测试切片提取效果。
   切片提取配置	切片提取模式为“规则提取”时，配置此参数。 单击“添加提取字段”，配置如下参数： 切片片段名称：自定义切片片段名称。 添加的提取字段数量不超过10个，切片片段名称长度最多为20个字符，不允许重复，不允许为以下名称（大小写不敏感）：file_name、file_id、path、order、document、base64、chunk，不能以ki_、ko_开头，仅可包含字母、数字、下划线，并且以字母开头。 提取规则：分隔符提取、按规则提取。 提取设置 当提取规则为“分隔符提取”时，例如：以分隔符；对切片进行分段，选择第2个分段，片段中不包含分隔符。 输入的分隔符不允许包含以下特殊字符*./$^?+以及带有\的分隔符，仅支持输入\n，用于表示按行分隔，其它诸如\\n，\n\n等均不支持。 在填写“选择第{{片段序号}}个片段”时，如果此处的片段序号超出片段数量，则提取内容为空。 当提取规则为“按规则提取”时，例如：从切片提取以项目名称：开头和以（完）结尾的片段，选择第3个片段，片段中包含开头，不包含结尾。
   切片提取效果	数据类型选择为“文档”时，显示此参数。 展示对切片内容提取后的效果。
   索引字段配置	当RAG类型为“VectorRAG”时 ，配置如下参数： 检索字段：选择对哪个字段进行检索，并作为检索命中内容返回。 文本过滤字段：选择哪些字段支持在检索时同步进行文本过滤，并返回该字段的内容。 附加返回字段：选择哪些字段在检索时附加返回。 当RAG类型为“GraphRAG”时 ，配置如下参数： 实体抽取字段：选择对哪个字段进行实体抽取。选择从chunk抽取实体时，chunk是一个完整切片，是指从这个切片的内容里面去抽取实体。 附加返回字段：选择哪些字段在检索时附加返回。

   表3 选择知识数据集参数说明

   参数名称	参数说明
   数据集选择	单击“选择知识数据集”，在“选择知识数据集”面板，勾选目标数据集，并选择数据集版本及索引配置。如果当前数据集未创建索引配置，可以单击索引配置下拉框中的“创建索引配置”，参考创建索引配置进行创建。 您也可以单击“创建知识数据集”，参考创建知识数据集创建新的数据集。 说明： 每个VectorRAG知识库最多只能添加5个数据集，且添加的数据集必须为同一类型。 每个GraphRAG知识库只能添加1个数据集。

3. 单击“保存”，保存知识库的参数配置。

   单击“保存并启用”，创建知识库完成并启用该知识库。

命中测试

命中测试即测试检索的命中率。

1. 在知识库列表中，单击操作列的“命中测试”。
2. 在命中测试页面，配置测试输入参数，参数说明如表4所示，配置完单击“测试”。

   表4 测试输入参数配置

   参数	说明
   检索内容	输入测试文本。
   选择数据集	选择待测试的数据集。
   相似度阈值	取值范围为0~1，例如配置为0.5，则返回相似度大于等于0.5的结果。
   查询数量	查询最大返回数量。

3. 在“测试结果”区域查看测试效果，测试结果根据相似度从大到小进行排序。
4. 在“测试历史”区域查看该知识库的测试历史记录，每个知识库测试记录最多保留50条。

更多操作

创建知识库完成后，可执行如下表5所示的管理知识库相关操作。