长文本摘要

场景介绍

切割长文本，利用大模型逐步总结。 如对会议/报告/文章等较长内容总结概述。

工程实现

1. 获取并安装SDK包。
2. 在配置文件(llm.properties)中配置模型信息。

   # IAM 认证信息，根据实际填写
   sdk.llm.pangu.iam.url=
   sdk.llm.pangu.iam.domain=
   sdk.llm.pangu.iam.user=
   sdk.llm.pangu.iam.password=
   sdk.llm.pangu.project=
   
   ## 盘古模型信息，根据实际情况填写
   sdk.llm.pangu.url=

3. 工程实现。

   import com.huaweicloud.pangu.dev.sdk.skill.DocSkill;
   import com.huaweicloud.pangu.dev.sdk.api.skill.Skills;
   import com.huaweicloud.pangu.dev.sdk.documentloader.splitter.TextSplitter;
   
   import org.apache.commons.io.FileUtils;
   
   // 加载原始内容， 需根据文件源自行实现读取步骤
   // 以txt文件为例；
   String context = FileUtils.readFileToString(new File("D:/test.txt"), StandardCharsets.UTF_8);
   
   // 通过分割符分割文档； 
   // 以 分割符“\n”， 每段大小最大1000字符 为例
   List<String> docs = TextSplitter.splitByChars(context, "\n", 1000);
   
   // 对文档进行摘要
   DocSkill skill = Skills.Document.newDocSummarizeMapReduceSkill(LLMs.of(LLMs.PANGU));
   String summarize= skill.executeWithTexts(docs);