# 知识库分段
#### 知识库分段介绍
对知识库进行分段设置主要是为了提高信息的组织性、可读性和检索效率。具体来说，分段设置的优势包括：
- 提高可读性：将长篇内容分成多个段落，每个段落集中讨论一个主题或一个方面，可以使读者更容易理解和消化信息。长篇大论往往会让读者感到疲惫，而分段则可以提供自然的停顿点，帮助读者更好地吸收信息。
- 增强组织性：通过分段，可以将相关的信息归类在一起，使知识库的内容结构更加清晰。这种结构化的组织方式不仅有助于作者在编写时保持逻辑清晰，也方便读者快速找到他们感兴趣的内容。
- 提高检索效率：对于大型知识库而言，分段设置可以与索引、标签等机制结合使用，帮助用户更快地定位到特定的信息。例如，搜索引擎可以更容易地识别出每个段落的关键内容，从而提高搜索结果的相关性和准确性。
- 便于维护和更新：分段的知识库内容更容易进行维护和更新。当需要修改或添加信息时，可以针对特定的段落进行操作，而不会影响到其他部分的内容，这有助于保持知识库的准确性和时效性。
- 适应不同的阅读习惯：不同的人有不同的阅读习惯和偏好。分段设置可以满足不同用户的需求，比如一些用户可能喜欢快速浏览标题和段落首句来获取概览，而另一些用户则可能更倾向于深入阅读每个段落的详细内容。
合理的分段能平衡上下文完整性与检索精准度。切片过大可能引入噪声，切片过小可能丢失上下文关联。
#### 分段策略
如果您不确定如何选择，推荐优先使用自动分段；如果文档具有明确的书籍目录结构，推荐使用层级分段。
图1分段原始文档部分截图   
![](https://support.huaweicloud.com/lowcode-agentarts/zh-cn_image_0000002687949614.png "点击放大")
表1分段策略 
| 分段类型 | 自动分段                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                              | 长度分段                                                                                                 | 层级分段                                                                                                  |
|:---|:---|:---|:---|
| 分段原则 | AgentArts可对上传的内容进行自动分段，支持复杂布局的文件处理，例如： - 可识别段落。  - 可识别页眉/页脚/脚注等非重点内容。  - 支持跨页的段落合并。  - 支持解析表格中的图片信息。  - 支持解析文档中的表格内容（目前，仅支持解析带线框的表格内容）。   | 根据用户需求，灵活配置分段标识符、分段最大长度、分段重叠度等参数，同时还能通过设置文本预处理规则，在分段前对文本进行特定处理。                                      | 根据文档的目录结构、章节划分等层级信息，将内容划分为不同层级的文本单元。                                                                  |
| 分段优点 | 系统预设，无需额外配置，提高使用效率。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                               | 严格控制分段长度，节约大模型会话时的Tokens。                                                                            | 结构清晰，便于用户理解，提高检索效率。                                                                                   |
| 分段缺点 | 自动分段的效果依赖文档质量。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    | 配置复杂，不适用于所有文档，需要用户对文档内容和参数规则有较深的理解。                                                                  | 需要文档具有明确的层级结构，对于结构不规范的文档难以适用。                                                                         |
| 分段效果 | 图2效果良好 ![](https://support.huaweicloud.com/lowcode-agentarts/zh-cn_image_0000002687789748.png "点击放大")                                                                                                                                                                                                                                                                                                                                                                                                                                                                             | 图3效果差 ![](https://support.huaweicloud.com/lowcode-agentarts/zh-cn_image_0000002717389371.png "点击放大") | 图4效果良好 ![](https://support.huaweicloud.com/lowcode-agentarts/zh-cn_image_0000002687949606.png "点击放大") |
| 适用场景 | 适用于大部分分段场景，通常文档结构较为规范，是使用情况最多的分段类型。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                               | 适用于对分段长度有严格要求的场景。                                                                                    | 适用于结构层次分明的知识体系，例如技术手册、法律条文、标准规范等。这些文档通常具有明确的结构层次，需要按照章节、小节等进行组织和检索。                                   |
   
#### 分段策略配置
修改分段策略后，系统将对知识库内文档重新进行解析和向量化处理，该过程会消耗计算资源，请谨慎操作。
![](https://support.huaweicloud.com/lowcode-agentarts/public_sys-resources/warning_3.0-zh-cn.png)
修改分段策略将导致知识库内现有文档切片失效，系统将自动重新切分。如有重要的人工编辑切片，请提前备份或确认。
- 自动分段：系统默认自动分段。选择该策略时会自动利用句号、分号、问号、感叹号等标点符号作为分段依据，将文档分割成一个个独立的句子或段落，无其他配置项。
- 长度分段：选择该分段策略，完成以下配置。
  - 分段标识符：分段方式为遇到所选符号即截断，符号之间没有优先级，最终分割后合并到预计最大长度。 支持中文句号、英文句号、中文感叹号、英文感叹号、中文问号、英文问号、空格、中文逗号、英文逗号。
    ![](https://support.huaweicloud.com/lowcode-agentarts/public_sys-resources/caution_3.0-zh-cn.png)
    长度分段配置中，如果未命中分段标识符，分段将会失败。
    
  
  - 分段预计长度：分段的最大长度。文档的正文如果大于设定的最大长度，则截取最大长度的片段为新文档，随后回溯分段重叠字符，继续向后检查，直到文档结束。取值范围为1\~6000，默认值为500。 例如，设置长度500，当段落长800时，将切分为两段，第一段为0\~497/502，第二段为498/503\~800。
    
   
- 层级分段：选择该分段策略，完成以下配置。
  - 层级解析模型：
    - 自动解析：自动识别和解析具有层级结构的数据或信息。示例请参考[自动解析示例]。
    
    - 规则解析：支持添加自定义层级规则。示例请参考[规则解析示例]。
     
  
  - 标题层级深度：指设置的切分标题级别，例如，文本包含最多5级标题，选择的标题层级深度为3，则会分别将所有3级标题下的内容合并成文本块，文本块作为一个整体执行后续切分操作。输入值必须在1到10之间。
  
  - 标题保存方式：指标题信息在切片中的保存形式，影响检索结果的展示逻辑和索引构建方式。
    - 保存多标题组合：多级标题用空格组合。
      ```
      1级标题 2级标题 3级标题 … 最后一级标题
      文本
      ```
      
    
    - 保存最后一级标题：仅最后一级标题。
      ```
      最后一级标题
      文本
      ```
      
     
  
  - 跨标题合并：根据需求开启或者关闭。
    - 开启"跨标题合并"功能：当不同标题下的段落文字较少时，平台会自动将其合并到指定的分段长度，有助于生成更加全面的内容。
    
    - 关闭"跨标题合并"开关：不会自动合并不同标题下的内容。
     
  
  - 分段标识符：分段方式为遇到所选符号即截断，符号之间没有优先级，最终分割后合并到预计最大长度。自定义分段中如果未命中分段标识符，分段将会失败。支持中文句号、英文句号、中文感叹号、英文感叹号、中文问号、英文问号、空格、中文逗号、英文逗号。
  
  - 分段预计长度：分段的最大长度。文档的正文如果大于设定的最大长度，则截取最大长度的片段为新文档，随后回溯分段重叠字符，继续向后检查，直到文档结束。 取值范围为1\~6000，默认值为500。
    
   
配置完成后，您可以在知识库详情页的"切片管理"中查看分段效果，或通过"检索测试"验证检索精准度。
- [自动解析示例]
- [规则解析示例]
图5配置   
![](https://support.huaweicloud.com/lowcode-agentarts/zh-cn_image_0000002687789750.png "点击放大")
图6自动解析效果   
![](https://support.huaweicloud.com/lowcode-agentarts/zh-cn_image_0000002717389369.png "点击放大")
图7配置   
![](https://support.huaweicloud.com/lowcode-agentarts/zh-cn_image_0000002687949610.png "点击放大")
图8规则解析效果   
![](https://support.huaweicloud.com/lowcode-agentarts/zh-cn_image_0000002717549245.png "点击放大")
#### 相关操作
知识库分段用于[创建知识库](https://support.huaweicloud.com/lowcode-agentarts/agentarts_05_0152.html#agentarts_05_0152__section1923195953914)，为知识库设置"拆分配置"。