本体存储
本体存储模块是构建与管理企业数据知识湖的核心平台。整个知识湖的生命周期包含三个阶段:
- 第一步,连接结构化与非结构化数据源,灵活选择嵌入模型、分块策略与向量存储,实现从原始数据到语义向量的高效转化与增量演进。
- 第二步,在内置的测试窗口中实时查询知识湖,验证源文本分片或大模型召回的准确性。
- 第三步,将成熟的知识湖一键集成到外部应用程序或作为专属底座添加至智能体(Agent)中。
约束与限制
单个租户下最多可以创建100个知识湖。
前提条件
- 准备好待导入的结构化数据资产或非结构化文档(如PDF、DOCX、TXT等)。
- 若需使用自定义算法,请确保目标嵌入模型(Embedding)、重排模型(Rerank)及基础大模型已在平台中完成注册并处于“可用”状态。
创建知识湖
- 登录数据智能平台。
- 在左侧导航栏选择,选择本体存储页签。
页面默认展示当前已创建的知识湖列表,包含名称、文档数、分块数及时间等信息。
图1 知识湖列表
- 单击右上角的“新建知识湖”,弹出“新建知识湖”窗口。 图2 创建知识湖
- 根据实际情况配置参数,参数说明请参见表1。
表1 基本信息 参数
说明
知识湖名称
填写知识湖的唯一识别标识。
知识湖描述
自定义填写该知识湖的业务用途、数据范围等背景信息。(可选)
嵌入模型
选择用于执行文本向量化的算法模型,支持选择系统“内置模型”或用户“注册模型”。
重排模型
选择用于对检索结果进行二次精排的Rerank模型,用以提升高价值分片的靠前度。(可选)
向量存储
默认选择内置,也可以选择现有的或创建新的向量存储。
本体
是否在新建知识湖时同步创建一个同名本体模型。开启后,系统将自动化联动图谱层,支持后续的图谱增强抽取。
AI自动构建本体
仅当“本体”开关开启时需要配置。
绑定大语言模型后,可以通过AI从您的多模态文档中自动抽取实体、关系和属性,实现AI自动构建本体。
- 单击“确定”。
系统创建成功后会自动跳转至“知识湖概述”界面,展示当前知识湖的基本信息及数据拓扑。
添加非结构化数据
- 在左侧导航栏选择,选择本体存储页签。
- 单击知识湖卡片,进入详情页面。
- 选择“添加非结构化数据”,进入配置页面。
- 配置数据源。 图3 配置数据源
- 知识湖信息:展示本体模型已使用的知识湖信息。
- 选择数据:支持从“本地文件”或“OBS文件”中进行选择。
支持txt、docx、pdf、pptx、md、markdown、xlsx、csv格式,单个文件不超过50MB,文件名不超过255个字符,单次上传不超过100个文件。
不符合格式、超过大小或文件名长度限制的文件将自动过滤;文件数达到100个后,后续文件将不再添加。
- 数据处理。 图4 数据处理
- 数据处理:为已上传的文件选择对应语言,“中文”或“英文”。
- 解析配置:解析策略支持“文本解析”或“规则解析”。
- 文本解析:选择此选项不会对文档提取图像元素,PDF文件会按纯文本提取。
- 综合解析:选择此选项可处理视觉丰富的文档或图像。
- 分块配置:
- 默认分块:默认情况下,知识库会自动将您的源数据拆分为多个分块,每个分块最多包含 500 个令牌。如果文档包含的令牌不到 500 个,则不会对其进行进一步拆分。
- 固定分块:用户自己设置分块配置。
- 层次分块:按照文档章节结构分块,将文档转化为有层级信息的文档块。
- 语义分块:根据文本分块或句子组在语义上的相似程度来组织它们,仅支持.docx、.md、.markdown类型的文件。
- 图谱配置: 抽取模式配置
- 跳过模式:保留原文,不抽取知识图谱。
- Schema-guided 约束模式:严格按预定义实体类型抽取知识图谱。
- Schema-free 开放模式:自动识别实体和关系类型,动态生成知识图谱。
切片分组:设置分组类型,用于将文档分块(chunk)组合后再进行知识抽取。
- 智能:自动分析语义关联,将跨分块的相关内容智能组合(如处理合同中的跨页条款)
- 固定值:每N个连续分块为一组进行处理(适合结构规整的文档),默认10,最小值1,最大值100。
- 单击“保存”或“保存并处理”。
添加结构化数据
- 在左侧导航栏选择,选择本体存储页签。
- 单击知识湖卡片,进入详情页面。
- 选择“添加结构化数据”,在配置面板中选择对应的“维度”与“指标”。
- 确认映射关系无误后,单击“确定”。
系统将即时触发结构化数据的知识转化。
图5 添加结构化数据