更新时间:2025-01-05 GMT+08:00
分享

文本类清洗算子能力清单

数据清洗算子为用户提供了多种数据操作能力,包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息,并进行深度加工,以生成高质量的训练数据。

平台支持文本类数据集的清洗操作,分为数据提取、数据转换、数据过滤三类,文本类加工算子能力清单见表1

表1 文本类清洗算子能力清单

算子分类

算子名称

算子描述

数据提取

WORD内容提取

从Word文档中提取文字,并保留原文档的目录、标题和正文等结构,不保留图片、表格、公式、页眉、页脚。

TXT内容提取

从TXT文件中提取所有文本内容。

CSV内容提取

从CSV文件中读取所有文本内容,并按该文件内容类型模板KEY值生成匹配的JSON格式数据。

PDF内容提取

从PDF中提取内容转换为结构化数据。

JSON内容提取

提取JSON文件中的键值对信息。

HTML内容提取

基于标签路径提取HTML数据内容,并将其他与待提取标签路径无关的内容删除。

电子书内容提取

从电子书中提取出所有文本内容。

智能文档解析

从PDF(支持扫描版)或图片中提取文本,转化为结构化数据,持文本、表格、表单、公式等内容提取。

数据转换

个人数据脱敏

对文本中的手机号码、身份证件、邮箱地址、url链接、国内车牌号、IP地址、MAC地址、IMEI、护照、车架号等个人敏感信息进行数据脱敏,或直接删除敏感信息。

中文简繁转换

将中文简体和中文繁体进行转换。

符号标准化

查找文本中携带的非标准化符号进行标准化、统一化转换。

  • 统一空格:将所有Unicode空格(如U+00A0、U+200A)转换为标准空格(U+0020)。
  • 全角转半角:将文本中的全角字符转换为半角字符。
  • 标点符号归一化,支持统一格式的符号如下:
    • {"?": "\?\?"}
    • {"[":"〖"}
    • {"]":"〗"}
  • 数字符号归一化,例如将⓪|||⓿|统一为0.。支持统一格式的符号如下:
    • {"0.": "⓪|||⓿|"}
    • {"1.": "①|⑴|㊀|⒈|⓵|➊|❶|➀"}
    • {"2.": "②|⑵|㊁|⒉|⓶|➋|❷|➁"}
    • {"2.": "②|⑵|㊁|⒉|⓶|➋|❷|➁"}
    • {"3.": "③|⑶|㊂|⒊|⓷|➌|❸|➂"}
    • {"4.": "④|⑷|㊃|⒋|⓸|➍|❹|➃"}
    • {"5.": "⑤|⑸|㊄|⒌|⓹|➎|❺|➄"}
    • {"6.": "⑥|⑹|㊅|⒍|⓺|➏|❻|➅"}
    • {"7.": "⑦|⑺|㊆|⒎|⓻|➐|❼|➆"}
    • {"8.": "⑧|⑻|㊇|⒏|⓼|➑|❽|➇"}
    • {"9.": "⑨|⑼|㊈|⒐|⓽|➒|❾|➈"}
    • {"10.": "⑩|⑽|㊉|⒑|⓾|➓|❿|➉"}

自定义正则替换

数据条目不变下,使用自定义正则表达式替换文本内容。

示例如下:

  • 去除“参考文献”以及之后的内容:\n参考文献[\s\S]*
  • 针对pdf的内容,去除“0 引言”之前的内容,引言之前的内容与知识无关:[\s\S]{0,10000}0 引言
  • 针对pdf的内容,去除“1.1Java简介”之前的与知识无关的内容:[\s\S]{0,10000} 1\. 1Java简介

日期时间格式转换

自动识别日期、时间、星期,同时根据选择的格式进行统一转换。

数据过滤

异常字符过滤

查找数据集每一条数据中携带的异常字符,并将异常字符替换为空值,数据条目不变。

  • 不可见字符,比如U+0000-U+001F。
  • 表情符六。
  • 网页标签符号<style></style>。
  • 特殊符号,比如● █ ◆。
  • 乱码和无意义的字符�����。
  • 特殊空格:[\u2000-\u2009]

自定义正则过滤

删除符合自定义正则表达式的数据。

自定义关键词过滤

剔除包含关键词的数据。

敏感词过滤

对文本中涉及黄色、暴力、政治等敏感数据进行自动检测和过滤。

文本长度过滤

按照设置的文本长度,保留长度范围内的数据进行。

冗余信息过滤

按照段落粒度,删除文本中的冗余信息,不改变数据条目。

例如目录封面、图注表注、标注说明、尾部信息、冗余段落和参考文献等。

N-gram特征过滤

用于判断文档重复度,根据特征N值计算文档内词语按N值组合后的重复此时,可通过以下两种算法比较结果是否大于特征阈值,大于特征阈值的文档删除。

  • top-gram过滤:计算重复最多的garm占总长度的比例,大于特征阈值则删除。
  • gram重复率过滤:计算所有重复的garm占总长度的比例,大于特征阈值则删除。

段落特征过滤

根据如下特征过滤:

  • 段落重复率。
  • 重复段落长度占比。
  • 非中文字符占比。

句子特征过滤

该算子将文档中的标点符号作为句子分隔符,统计每句字符长度,若文档平均字符长度大于设置字符,则保留,反之则删除整篇文档。根据如下特征过滤:

  • 待保留的平均句长。

词语特征过滤

词个数表示按照系统词库,对文档进行分词,分词后统计词的总个数,平均词长度为所有词的长度总和除以词总个数,两者都满足则保留当前文档。根据如下特征过滤:

  • 待保留的词个数。
  • 待保留的平均词长度。

段落结尾不完整句子过滤

按照句子的过滤粒度,自动识别段落结尾处的内容是否完整,如果不完整,则过滤。

广告数据过滤

按照句子的过滤粒度,删除文本中包含广告数据的句子。

QA对过滤

过滤包含以下情况的QA对:

  • 问题不是string格式。
  • 回答为空。
  • 回答无意义。

语种过滤

通过语种识别模型得到文档的语言类型,筛选所需语种的文档。

全局文本去重

检测并去除数据中重复或高度相似的文本,防止模型过拟合或泛化性降低。

数据打标

预训练文本分类

针对预训练文本进行内容分类,例如新闻、教育、健康等类别,支持分析语种包括:中文、英文。

通用质量评估

针对文本进行通用质量的评估,例如流畅度、清晰度、丰富度等。

说明:

使用该清洗算子前,请确保有已部署的NLP大模型,具体步骤详见创建NLP大模型部署任务

相关文档