本文导读

展开导读

文档首页/ 盘古大模型 PanguLargeModels/ 用户指南/ 使用数据工程构建数据集/ 加工数据集/ 数据集加工算子介绍/ 文本类加工算子介绍

文本类加工算子介绍

更新时间：2025-05-16 GMT+08:00

数据加工算子为用户提供了多种数据操作能力，包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息，并进行深度加工，以生成高质量的训练数据。

平台支持文本类数据集的加工操作，分为数据提取、数据转换、数据过滤、数据打标四类，文本类加工算子能力清单见表1。

表1 文本类加工算子能力清单
算子分类	算子名称	算子描述
数据提取	WORD内容提取	从Word文档中提取文字，并保留原文档的目录、标题和正文等结构，不保留图片、表格、公式、页眉、页脚。
	TXT内容提取	从TXT文件中提取所有文本内容。
	CSV内容提取	从CSV文件中读取所有文本内容，并按该文件内容类型模板KEY值生成匹配的JSON格式数据。
	PDF内容提取	从PDF中提取文本，转化为结构化数据，支持文本、表格、公式等内容提取。
	JSON内容提取	提取JSON文件中的键值对信息。
	HTML内容提取	基于标签路径提取HTML数据内容，并将其他与待提取标签路径无关的内容删除。
	电子书内容提取	从电子书中提取出所有文本内容。
数据转换	个人数据脱敏	对文本中的手机号码、身份证件、邮箱地址、url链接、国内车牌号、IP地址、MAC地址、IMEI、护照、车架号等个人敏感信息进行数据脱敏，或直接删除敏感信息。
	中文简繁转换	将中文简体和中文繁体进行转换。
	符号标准化	查找文本中携带的非标准化符号进行标准化、统一化转换。统一空格：将所有Unicode空格（如U+00A0、U+200A）转换为标准空格（U+0020）。全角转半角：将文本中的全角字符转换为半角字符。标点符号归一化，支持统一格式的符号如下： {"？": "\?\？"} {"[":"〖"} {"]":"〗"} 数字符号归一化，例如将⓪\|\|\|⓿\|统一为0.。支持统一格式的符号如下： {"0.": "⓪\|\|\|⓿\|"} {"1.": "①\|⑴\|㊀\|⒈\|⓵\|➊\|❶\|➀"} {"2.": "②\|⑵\|㊁\|⒉\|⓶\|➋\|❷\|➁"} {"2.": "②\|⑵\|㊁\|⒉\|⓶\|➋\|❷\|➁"} {"3.": "③\|⑶\|㊂\|⒊\|⓷\|➌\|❸\|➂"} {"4.": "④\|⑷\|㊃\|⒋\|⓸\|➍\|❹\|➃"} {"5.": "⑤\|⑸\|㊄\|⒌\|⓹\|➎\|❺\|➄"} {"6.": "⑥\|⑹\|㊅\|⒍\|⓺\|➏\|❻\|➅"} {"7.": "⑦\|⑺\|㊆\|⒎\|⓻\|➐\|❼\|➆"} {"8.": "⑧\|⑻\|㊇\|⒏\|⓼\|➑\|❽\|➇"} {"9.": "⑨\|⑼\|㊈\|⒐\|⓽\|➒\|❾\|➈"} {"10.": "⑩\|⑽\|㊉\|⒑\|⓾\|➓\|❿\|➉"}
	自定义正则替换	数据条目不变下，使用自定义正则表达式替换文本内容。示例如下：去除“参考文献”以及之后的内容：\n参考文献[\s\S]* 针对pdf的内容，去除“0 引言”之前的内容，引言之前的内容与知识无关：[\s\S]{0，10000}0引言针对pdf的内容，去除“1.1Java简介”之前的与知识无关的内容：[\s\S]{0，10000} 1\. 1Java简介
	日期时间格式转换	自动识别日期、时间、星期，同时根据选择的格式进行统一转换。
数据过滤	异常字符过滤	查找数据集每一条数据中携带的异常字符，并将异常字符替换为空值，数据条目不变。不可见字符，比如U+0000-U+001F。表情符六。网页标签符号<style></style>。特殊符号，比如● █ ◆。乱码和无意义的字符��。特殊空格：[\u2000-\u2009]
	自定义正则过滤	删除符合自定义正则表达式的数据。
	自定义关键词过滤	剔除包含关键词的数据。
	敏感词过滤	对文本中涉及黄色、暴力、政治等敏感数据进行自动检测和过滤。
	文本长度过滤	按照设置的文本长度，保留长度范围内的数据进行。
	冗余信息过滤	按照段落粒度，删除文本中的冗余信息，不改变数据条目。例如图注表注和参考文献。
	N-gram特征过滤	用于判断文档重复度，根据特征N值计算文档内词语按N值组合后的重复此时，可通过以下两种算法比较结果是否大于特征阈值，大于特征阈值的文档删除。 top-gram过滤：计算重复最多的gram占总长度的比例，大于特征阈值则删除。 gram重复率过滤：计算所有重复的gram占总长度的比例，大于特征阈值则删除。
	段落特征过滤	根据如下特征过滤：段落重复率。重复段落长度占比。非中文字符占比。
	句子特征过滤	该算子将文档中的标点符号作为句子分隔符，统计每句字符长度，若文档平均字符长度大于设置字符，则保留，反之则删除整篇文档。根据如下特征过滤：待保留的平均句长。
	词语特征过滤	词个数表示按照系统词库，对文档进行分词，分词后统计词的总个数，平均词长度为所有词的长度总和除以词总个数，两者都满足则保留当前文档。根据如下特征过滤：待保留的词个数。待保留的平均词长度。
	段落结尾不完整句子过滤	按照句子的过滤粒度，自动识别段落结尾处的内容是否完整，如果不完整，则过滤。
	广告数据过滤	按照句子的过滤粒度，删除文本中包含广告数据的句子。
	QA对过滤	过滤包含以下情况的QA对：问题不是string格式。回答为空。回答无意义。
	语种过滤	通过语种识别模型得到文档的语言类型，筛选所需语种的文档。
	全局文本去重	检测并去除数据中重复或高度相似的文本，防止模型过拟合或泛化性降低。
数据打标	预训练文本分类	针对预训练文本进行内容分类，例如新闻、教育、健康等类别，支持分析语种包括：中文、英文。
	通用质量评估	针对文本进行通用质量的评估，例如流畅度、清晰度、丰富度等。
	问题时效性评估	判断问题是否具有时效性，并给出判断原因。
	回答质量评分	针对微调数据集的回答进行质量评分，例如逻辑连贯性、事实正确性等。
	语法质量评估	针对文本进行语法质量的评估，例如相关性、规范性等。

说明：

使用数据打标的通用质量评估、问题时效性评估、回答质量评分、语法质量评估算子前，请确保有已部署的NLP大模型，具体步骤详见创建NLP大模型部署任务。

WORD内容提取

适用的文件格式：“文档 > docx”。
各参数说明：
待提取内容类型：从Word文档中提取文字，并保留原文档的目录、标题和正文等结构，不保留图片、表格、公式、页眉、页脚。
参数配置样例：
不需要配置参数，默认保留原文档的目录、标题和正文等结构，不保留图片、表格、公式、页眉、页脚。
提取样例：

TXT内容提取

适用的文件格式：“文档 > txt”。
各参数说明：
待提取内容类型：默认全文提取成一行记录，也可以选择按段落提取，根据填写的分隔符，将文本切分成多行，每个分隔符以“|”分隔，分隔符最大长度100个字符。
参数配置样例：
提取样例：

CSV内容提取

适用的文件格式：“文本 >单轮问答、单轮问答（人设）、问答排序”。
各参数说明：
待提取内容类型：从CSV文件中读取所有文本内容，并按该文件内容类型模板KEY值生成匹配的JSON格式数据。
参数配置样例：
不需要配置参数。
提取样例：

PDF内容提取

适用的文件格式：“文档 > pdf”。
各参数说明：
待提取内容类型：默认保留文本、表格、公式和标题，支持选择需要保存的类型，未选择的类型将去除。
参数配置样例：
提取样例：

JSON内容提取

适用的文件格式：“文本 >预训练文本、单轮问答、多轮问答、问答排序、优化偏好DPO”。
各参数说明：
待提取内容类型：读取所有文本中的键值对信息。
参数配置样例：
不需要配置参数。
提取样例：

HTML内容提取

适用的文件格式：“文本 > 网页”。
各参数说明：
待提取内容类型：文件编码格式默认UTF-8，支持选择GB2312格式。默认提取BODY，支持用户自定义修改;可以提取多个标签，标签之间逗号分隔，例如A，B，C，即提取A或者B或者C标签的内容。
参数配置样例：
提取样例：

电子书内容提取

适用的文件格式：“文档 > mobi/epub”。
各参数说明：
待提取内容类型：从mobi/epub格式的电子书中提取出所有文本内容。
参数配置样例：
不需要配置参数。
提取样例：

个人数据脱敏

适用的文件格式：“文本类”。
各参数说明：
待转换内容类型：对文本中的手机号码、身份证件、邮箱地址、url链接、国内车牌号、IP地址、MAC地址、IMEI、护照、车架号等个人敏感信息进行数据脱敏，默认全部勾选，也可以选择部分。
参数配置样例：
转换样例：

中文简繁转换

适用的文件格式：“文本类”。
各参数说明：
待转换内容类型：支持中文简体和中文繁体进行转换，过滤粒度为字符，默认转换方式为繁体转简体。
参数配置样例：
转换样例：

符号标准化

适用的文件格式：“文本类”。
各参数说明：
待转换内容类型：支持对文本中携带的非标准化符号进行标准化、统一化转换，待标准化符号有空格、全角符号、标点符号、数字符号，默认全部勾选，过滤粒度为字符。
参数配置样例：
转换样例：根据映射表进行符号识别并映射。

自定义正则替换

适用的文件格式：“文本类”。
各参数说明：
待转换内容类型：数据条目不变下，使用自定义正则表达式替换文本内容。
参数配置样例：
转换样例：

日期时间格式转换

适用的文件格式：“文本类”。
各参数说明：
待转换内容类型：自动识别日期、时间、星期，同时根据选择的格式进行统一转换。转换类型包括日期格式、时间格式、星期格式，默认全都勾选，也支持选择部分进行转换。
参数配置样例：
转换样例：

异常字符过滤

适用的文件格式：“文本类”。
各参数说明：
待过滤内容类型：查找数据集每一条数据中携带的异常字符，并将异常字符替换为空值，数据条目不变。异常字符过滤类型包括不可见字符、表情符、网页标签、特殊符号、乱码字符、特殊空格，默认全都勾选，也支持选择部分进行过滤。
参数配置样例：
过滤样例：

自定义正则过滤

适用的文件格式：“文本类”。
各参数说明：
待过滤内容类型：按自定义正则表达式进行匹配过滤，过滤粒度支持按字符、段落进行过滤，默认勾选字符。
参数配置样例：
过滤样例：
比如过滤掉参考文献之后的内容。

自定义关键词过滤

适用的文件格式：“文本类”。
各参数说明：
待过滤内容类型：过滤粒度支持按字符、段落、文档进行过滤，默认勾选字符。待删除的关键词路径支持从obs中导入关键词，以及文本录入。
参数配置样例：
过滤样例：
比如按关键词测试进行过滤。

敏感词过滤

适用的文件格式：“文本类”。
各参数说明：
待过滤内容类型：对文本中涉及黄色、暴力、政治等敏感数据进行自动检测和过滤，需要预置敏感词。过滤粒度支持按字符、段落、文档进行过滤，默认勾选字符
参数配置样例：
过滤样例：

文本长度过滤

适用的文件格式：“文本类”。
各参数说明：
待过滤内容类型：按照设置的文本长度，保留长度范围内的数据。默认待保留字符的长度范围为100-1000字符，支持修改。
参数配置样例：
过滤样例：

冗余信息过滤

适用的文件格式：“文本类”。
各参数说明：
待过滤内容类型：按照段落粒度，删除文本中的冗余信息，不改变数据条目。支持过滤的内容类型包括图注表注、参考文献，默认全都勾选，也支持选择部分。
参数配置样例：
过滤样例：

N-gram特征过滤

适用的文件格式：“文本类”。
各参数说明：
待过滤内容类型：按照文档过滤粒度，可以选择top-gram过滤和gram重复率过滤，默认勾选top-gram过滤。其中top-gram过滤方式特征N值默认2，特征阈值默认0.18，gram重复率过滤方式特征N值默认2，特征阈值默认0.15，支持修改。
参数配置样例：
过滤样例：