文本类加工算子介绍

WORD内容提取

• 适用的文件格式：“文档 > docx”。
• 各参数说明：

  待提取内容类型：从Word文档中提取文字，并保留原文档的目录、标题和正文等结构，不保留图片、表格、公式、页眉、页脚。

• 参数配置样例：

  不需要配置参数，默认保留原文档的目录、标题和正文等结构，不保留图片、表格、公式、页眉、页脚。

• 提取样例：

  {"fileName":"JAVA从入门到精通.docx","text":"JAVA是一种跨平台......"｝

TXT内容提取

• 适用的文件格式：“文档 > txt”。
• 各参数说明：

  待提取内容类型：默认全文提取成一行记录，也可以选择按段落提取，根据填写的分隔符，将文本切分成多行，每个分隔符以“|”分隔,分隔符最大长度100个字符。

• 提取样例：

  {fileName":"TXT文档名.txt","text":"这是第一行。"｝

CSV内容提取

• 适用的文件格式：“文本 >单轮问答、单轮问答（人设）、问答排序”。
• 各参数说明：

  待提取内容类型：从CSV文件中读取所有文本内容，并按该文件内容类型模板KEY值生成匹配的JSON格式数据。

• 参数配置样例：

  不需要配置参数。

• 提取样例：

  若提取CSV样式如："你好，请介绍自己，我是盘古大模型"，则提取内容输出为：｛"context":"你好，请介绍自己","target":"我是盘古大模型"｝

PDF内容提取

• 适用的文件格式：“文档 > pdf”
• 各参数说明：

  待提取内容类型：默认保留文本、表格、公式和标题，支持选择需要保存的类型，未选择的类型将去除。

  精细化内容提取：是否支持版面分析完识别是图片的内容再次进行版面分析提取。

• 参数配置样例：

  

• 提取样例：

  {"fileName":"JAVA从入门到精通.pdf',"text":"JAVA是一种跨平台......"｝

JSON内容提取

• 适用的文件格式：“文本 >预训练文本、单轮问答、单轮问答（人设）、多轮问答、多轮问答（人设）、问答排序、偏好优化DPO、偏好优化DPO（人设）”。
• 各参数说明：

  待提取内容类型：读取所有文本中的键值对信息。

• 参数配置样例：

  不需要配置参数。

• 提取样例：

  {"context":"你好，请介绍自己",“target":"我是盘古大模型"｝

HTML内容提取

• 适用的文件格式：“文本 > 网页”
• 各参数说明：

  待提取内容类型：文件编码格式默认UTF-8，支持选择GB2312格式。默认提取BODY，支持用户自定义修改;可以提取多个标签，标签之间逗号分隔，例如A，B，C即提取A或者B或者C标签的内容。

• 参数配置样例：

  

• 提取样例：

  {"text":"#\n我是盘古大模型\n盘古大模型是一个先进的人工智能模型，致力于为各行各业提供智能化的解决方案。","fileName":"网页.htmI"}

电子书内容提取

• 适用的文件格式：“文档 > mobi/epub”。
• 各参数说明：

  待提取内容类型：从mobi/epub格式的电子书中提取出所有文本内容。

• 参数配置样例：

  不需要配置参数。

• 提取样例：

  {"fileName":"JAVA从入门到精通.epub","text":"JAVA是一种跨平台........"}

个人数据脱敏

• 适用的文件格式：“文本类”。
• 各参数说明：

  待转换内容类型：对文本中的手机号码、身份证件、邮箱地址、url链接、国内车牌号、IP地址、MAC地址、IMEI、护照、车架号等个人敏感信息进行数据脱敏，默认全部勾选，也可以选择部分。

• 参数配置样例：

  

• 转换样例：

  加工前: "数据来自www.test.com”

  加工后:“数据来自*******"

符号标准化

• 适用的文件格式：“文本类”。
• 各参数说明：

  待转换内容类型：支持对文本中携带的非标准化符号进行标准化、统一化转换，待标准化符号有空格、全角符号、标点符号、数字符号，默认全部勾选，过滤粒度为字符。

• 参数配置样例：

  

自定义正则替换

• 适用的文件格式：“文本类”。
• 各参数说明：

  待转换内容类型：数据条目不变下，使用自定义正则表达式替换文本内容。

• 参数配置样例：

  

• 转换样例：

  加工前: {"text":"这是aeiou正文内容aeiou测试aeiou。"}

  加工后: {"text":"这是11111正文内容11111测试11111。"}

日期时间格式转换

• 适用的文件格式：“文本类”。
• 各参数说明：

  待转换内容类型：自动识别日期、时间、星期，同时根据选择的格式进行统一转换。转换类型包括日期格式、时间格式、星期格式，默认全都勾选，也支持选择部分进行转换。

• 参数配置样例：

  

• 转换样例：

  加工前: {"text":"今天是2025年3月3号，周一，早上雨真大。"}

  加工后: {"text":"今天是2025-03-03 00:00:00，星期一，早上雨真大。"}

异常字符过滤

• 适用的文件格式：“文本类”。
• 各参数说明：

  待过滤内容类型：查找数据集每一条数据中携带的异常字符，并将异常字符替换为空值，数据条目不变。异常字符过滤类型包括不可见字符、表情符、网页标签、特殊符号、乱码字符、特殊空格，默认全都勾选，也支持选择部分进行过滤。

• 参数配置样例：

  

• 过滤样例：

  加工前: {"text":"测试异常。<style></style>哈哈。限时特惠!☺"}

  加工后: {"text":"测试异常 。哈哈。 限时特惠!"}

自定义正则过滤

• 适用的文件格式：“文本类”。
• 各参数说明：

  待过滤内容类型：按自定义正则表达式进行匹配过滤，过滤粒度支持按字符、段落进行过滤，默认勾选字符。

• 参数配置样例：

  

• 过滤样例：

  比如过滤掉参考文献之后的内容。

  加工前: {"text":"这是正文内容。参考文献[1]作者1,文章1,期刊1,2021.[2] 作者2,文章2,期刊2,2022."}

  加工后: {"text":"这是正文内容。"}

自定义关键词过滤

• 适用的文件格式：“文本类”。
• 各参数说明：

  待过滤内容类型：过滤粒度支持按字符、段落、文档进行过滤，默认勾选字符。待删除的关键词路径支持从obs中导入关键词，以及文本录入。

• 参数配置样例：

  

• 过滤样例：

  比如按关键词测试进行过滤。

  加工前: {"text":"关键词测试这是一条测试数据。"}

  加工后: {"text":"关键词这是一条数据。"}

敏感词过滤

• 适用的文件格式：“文本类”。
• 各参数说明：

  待过滤内容类型：对文本中涉及黄色、暴力、政治等敏感数据进行自动检测和过滤，需要预置敏感词。过滤粒度支持按字符、段落、文档进行过滤，默认勾选字符

• 参数配置样例：

  

• 过滤样例：

  加工前: {"text":" 嫖客啊fuck测试"}

  加工后: {"text":"啊测试"}

文本长度过滤

• 适用的文件格式：“文本类”。
• 各参数说明：

  待过滤内容类型：按照设置的文本长度，保留长度范围内的数据。默认待保留字符的长度范围为100-1000字符，支持修改。

• 参数配置样例：

  

• 过滤样例：

  加工前: {"text":” 测试长度"}

  加工后: {"text":”"}

冗余信息过滤

• 适用的文件格式：“文本类”。
• 各参数说明：

  待过滤内容类型：按照段落粒度，删除文本中的冗余信息，不改变数据条目。支持过滤的内容类型包括图注表注、参考文献，默认全都勾选，也支持选择部分。

N-gram特征过滤

• 适用的文件格式：“文本类”。
• 各参数说明：

  待过滤内容类型：按照文档过滤粒度，可以选择top-gram过滤和gram重复率过滤，默认勾选top-gram过滤。其中top-gram过滤方式特征N值默认2，特征阈值默认0.18，gram重复率过滤方式特征N值默认2，特征阈值默认0.15，支持修改。

• 参数配置样例：

  

• 过滤样例：

  加工前: {"text":"醒醒，今天星期天，今天不上班，今天放假，明天星期一，明天上班。"}

  加工后: {"text":""}

段落特征过滤

• 适用的文件格式：“文本类”。
• 各参数说明：

  待过滤内容类型：按照文档过滤粒度，根据段落重复率、重复段落长度占比、非中文字符占比进行过滤，如果没有同时满足则过滤。默认值分别为段落重复率小于等于65%、重复段落长度占比小于等于65%、非中文字符占比1-50%，支持修改。

• 参数配置样例：

  

• 过滤样例：

  加工前: {"text":"传说中，狐狸只对那些心地纯洁、愿望真诚的人显现。它会在月光下优雅地出现，用那双闪烁着智慧光芒的眼睛注视着来者。只有当狐狸感受到来者的真诚和纯洁，它才会开口说话，询问他们的愿望。 然而，愿望的实现并非没有代价。每一个愿望的实现都需要付出相应的代价。这个代价可能是珍贵的记忆，可能是深爱的事物，甚至可能是生命的一部分。因此，村民们在许愿之前，必须慎重考虑，是否愿意承担这样的代价。 传说中，狐狸只对那些心地纯洁、愿望真诚的人显现。它会在月光下优雅地出现，用那双闪烁着智慧光芒的眼睛注视着来者。只有当狐狸感受到来者的真诚和纯洁，它才会开口说话，询问他们的愿望。 然而，愿望的实现并非没有代价。每一个愿望的实现都需要付出相应的代价。这个代价可能是珍贵的记忆，可能是深爱的事物，甚至可能是生命的一部分。因此，村民们在许愿之前，必须慎重考虑，是否愿意承担这样的代价。"}

  加工后:

句子特征过滤

• 适用的文件格式：“文本类”。
• 各参数说明：

  待过滤内容类型：按照文档过滤粒度，根据待保留的平均句长进行过滤，如果不满足则过滤。待保留的平均句长默认值为大于等于10个字符，支持修改。

• 参数配置样例：

  

• 过滤样例：

  加工前: {“text":"在一个小村庄里，有一个传说。传说中，每当满月之夜，村庄的森林里会出现一只神秘的狐狸。”}

  加工后: {"text”:""}

词语特征过滤

• 适用的文件格式：“文本类”。
• 各参数说明：

  待过滤内容类型：按照文档过滤粒度，根据待保留的词个数（默认50-100000字符）、待保留的平均词长度（默认50-100000字符）进行过滤，如果没有同时满足则过滤。支持修改默认值。

• 参数配置样例：

  

• 过滤样例：

  加工前: {"text":"传说中，狐狸只对那些心地纯洁、愿望真诚的人显现。" }

  加工后: {"text":“”}

段落结尾不完整句子过滤

• 适用的文件格式：“文本类”。
• 各参数说明：

  待过滤内容类型：按照句子的过滤粒度，自动识别段落结尾处的内容是否完整，如果不完整，则过滤。

• 参数配置样例：

  

• 过滤样例：

  加工前:"JAVA是一种面向对象的程序设计语言。使用JAVA语言。"

  加工后:“JAVA是一种面向对象的程序设计语言。”

广告数据过滤

• 适用的文件格式：“文本类”。
• 各参数说明：

  待过滤内容类型：按照句子的过滤粒度，删除文本中包含广告数据的句子。

• 参数配置样例：

  

• 过滤样例：

  加工前: {"text”:”※具体优惠信息！※购买我们的产品，享受高达50%的折扣！点击链接获取低价:https://example.com不要错过这个机会，赶快行动吧！}

  加工后: {"text":""}

QA对过滤

• 适用的文件格式：“文本类”。
• 各参数说明：

  待过滤内容类型：过滤问题不是string格式、回答为空、回答无意义的QA对。

• 参数配置样例：

  不需要配置参数。

  

• 过滤样例：

  加工前: {“text":”[{"context":"你好","target:"对对对"),{"context":"列表","target":""}]"}

  加工后: {"text":"[{"context":"你好","target":"对对"}]"}

语种过滤

• 适用的文件格式：“文本类”。
• 各参数说明：

  待过滤内容类型：按照文档过滤粒度，根据待保留语种、待删除阈值文档字段进行过滤，如果满足则过滤。待保留语种默认中文，支持选择英文，待删除阈值文档默认值小于0.65，支持修改。

• 参数配置样例：

  

• 过滤样例：

  加工前: {"text":" Hello, my name is Li Ming. I am excited to introduce myself and share a bit about who l am."}

  加工后: {"text":""}

全局文本去重

• 适用的文件格式：“文本类”。
• 各参数说明：

  待过滤内容类型：检测并去除数据中重复或高度相似的文本，防止模型过拟合或泛化性降低。

• 参数配置样例：

  不需要配置参数。

• 过滤样例：

  加工前：[{"fileName":"文本1.txt","text":"传说中，狐狸只对那些心地纯活、愿望真诚的人显现。"},{"fileName":"文本2.txt","text":"传说中，狐狸只对那些心地纯洁、愿望真诚的人显现。"}

  加工后：{{"fileName":"文本1.txt","text”:"传说中，狐狸只对那些心地纯洁、愿望真诚的人显现。"}}

SFT通用语义质量评分

• 适用的文件格式：“文本类-单轮问答、单轮问答（人设）、问答排序”。
• 各参数说明：

  待过滤内容类型：通过LLM对SFT数据质量做通用语义检查和打分，并可根据打分阈值进行过滤。需要选择模型，是否过滤字段取值是和否，默认为否，阈值取值范围在0.0~10.0之间，小于该值的样本将被过滤掉。阈值默认值为6，支持修改。

• 过滤样例：

  加工前: {"system":"你是一个计算达人","context";"根据给定的两个城市之间的距商，计算旅行所需的时间。起始城市：北京，目的地城市：上海，距离：1318公里。\n",“target':"根据不同出行方式，北京到上海的旅行时间不同。如果乘坐高铁，大约需要5-6小时：如果乘坐飞机，大约需要2小时左右：如果驾车，大约需要13-14小时左右。"}{"system"："你是一个问答小能手","context";"在给定的一篇文章中，找到特定关键词的出现次数。\n文章：今年世界杯期间，许多人会熬夜观看比赛。\n关键词：世界杯\n",“target":"关键词\"世界杯\"在文章中出现了1次。"}

  加工后: {"context":"在给定的一篇文章中，找到特定关键词的出现次数。\n文章:今年世界杯期间，许多人会熬夜观看比赛。\n关键词：世界杯\n","filter":0.0,"qa_quality score":{"reason":"大模型正确地识别出关键词\"世界杯\"在文章中出现了 1 次，并且给出了正确的答案。","score":10.0},"system":"你是一个问答小能手","target":"关键词\"世界杯\"在文章中出现了 1 次。"}

SFT规则质检过滤

• 适用的文件格式：“文本类-单轮问答、单轮问答（人设）、问答排序”。
• 各参数说明：

  待过滤内容类型：通过所选规则对SFT数据质量进行检查并过滤。过滤规则包括内容是字符串、长文本被截断、内容不完整、中英文混杂、繁简混杂、包含重复内容、包含特殊符号、括号不对齐、重复pattern、乱码符号、中英文回复不统一、敏感模型身份、没有慢思考，默认全部勾选，也可以选择部分规则。是否过滤字段取值是和否，默认为否。

• 过滤样例：

  加工前: {"context":"你好，请介绍自己","target":"我是盘古hello world"}{"context:"诗仙指的是哪位诗人","target":"你好！繁體字在這裡"}

  加工后:

SFT思维链质量评分

• 适用的文件格式：“文本类-单轮问答、单轮问答（人设）、问答排序”。
• 各参数说明：

  待过滤内容类型：通过LLM对SFT数据中的思维链做质量检查和打分，并可根据打分阈值进行过滤。需要选择模型，是否过滤字段取值是和否，默认值为否，阈值取值范围在0.0~10.0之间，小于该值的样本将被过滤掉。阈值默认值为6，支持修改。数据判断规则、数据打分规则支持编辑，最大字符1000。

• 过滤样例：

  加工前:{"context":"context内容","targets":["hello""hi","你好"]}

  加工后:{"context":"context内容""targets":["hello""hi","你好"],"qa_cot_score":{{result":"错误","score":0.0,"reason"["模型回答不相关"]),{"result:"错误","score*:0.0,"reason":"回答不相关"}{"result:"错误","score":0.0,"reason":"[模型回答不相关]"}]}

预训练文本分类

• 适用的文件格式：“文本类-预训练文本”。
• 各参数说明：

  待打标内容类型：针对预训练文本进行内容分类，例如新闻、教育、健康等类别，支持分析语种包括：中文、英文，默认中文。

• 参数配置样例：

  

• 打标样例：

  {"fileName":"新闻打标测试.docx","text":” 本报北京3月3日电(记者徐佩玉)中国人民银行发布的今年1月份金融市场运行情况显示，1月份，我国债券市场共发行各类债券51027.5亿元。其中，国债发行10185.0亿元,地方政府债券发行5575.7亿元，金融债券发行7042.1亿元，公司信用类债券发行12791.7亿元，信贷资产支持证券发行27.3亿元，同业存单发行15147.8亿元。\n 截至1月末,我国债券市场托管余额178.2万亿元。其中，银行间市场托管余额156.9万亿元，交易所市场托管余额21.3万亿元。\n在债券市场对外开放方面,截至1月末，境外机构在中国债券市场的托管余额4.2万亿元，占中国债券市场托管余额的比重为2.3%。其中，境外机构在银行间债券市场的债券托管余额4.1万亿元：分券种看，境外机构持有国债2.0万亿元、占比48.8%，同业存单1.1万亿元、占比25.8%，政策性银行债券0.9万亿元、占20.8%。\n","pre_classification":"经济"}

通用质量评估

• 适用的文件格式：“文本类-预训练文本”。
• 各参数说明：

  待打标内容类型：针对文本进行通用质量的评估，例如流畅度、清晰度、丰富度等。需要选择模型、行业，其中行业支持手输。

• 参数配置样例：

  

• 打标样例：

  {"fileName":"新闻打标测试.docx","text":” 本报北京3月3日电(记者徐佩玉)中国人民银行发布的今年1月份金融市场运行情况显示,1月份,我国债券市场共发行各类债券51027.5亿元。其中,国债发行10185.0亿元,地方政府债券发行5575.7亿元,金融债券发行7042.1亿元,公司信用类债券发行12791.7亿元,信贷资产支持证券发行27.3亿元,同业存单发行15147.8亿元。\n 截至1月末,我国债券市场托管余额178.2万亿元。其中,银行间市场托管余额156.9万亿元,交易所市场托管余额21.3万亿元。\n在债券市场对外开放方面,截至1月末,境外机构在中国债券市场的托管余额4.2万亿元,占中国债券市场托管余额的比重为2.3%。其中,境外机构在银行间债券市场的债券托管余额4.1万亿元:分券种看,境外机构持有国债2.0万亿元、占比48.8%,同业存单1.1万亿元、占比25.8%,政策性银行债券0.9万亿元、占比20.8%。\n","generalscore":{"教育价值":"5","清洁度":"5","isIncorrect":"false","毒性":"false","丰富度"："5","流畅度":"5","knowledge":"5"}}

问题时效性评估

• 适用的文件格式：“文本类-单轮问答”。
• 各参数说明：

  待打标内容类型：判断问题是否具有时效性，并给出判断原因。需要选择模型。

• 参数配置样例：

  

• 打标样例：

  {"context":"1-1-2江苏的省会在哪里?","target":"南京","timeliness_classification":0}

回答质量评分

• 适用的文件格式：“文本类-单轮问答”。
• 各参数说明：

  待打标内容类型：针对微调数据集的回答进行质量评分，例如逻辑连贯性、事实正确性等。需要选择模型。

• 参数配置样例：

  

• 打标样例：

  {"context":"1-2-1中国的首都是哪里? "，"target":"北京","answer score":{"逻辑连贯性":10,"综合得分":10,"满足用户需求":10,"完备性":10,"事实正确性":10}}

语法质量评估

• 适用的文件格式：“文本类-单轮问答”。
• 各参数说明：

  待打标内容类型：针对文本进行语法质量的评估，例如相关性、规范性等。需要选择模型。

• 参数配置样例：

  

• 打标样例：

  {"target":"北京","context":"1-2-1中国的首都是哪里?","grammar score":{"回复与问题不相关":0,"事实错误":0,"违反逻辑规则":0,"语言不规范":0,"语句截断":0,"不当的多语混用":0,"无意义的重复":0}}