文本类清洗算子能力清单
数据清洗算子为用户提供了多种数据操作能力,包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息,并进行深度加工,以生成高质量的训练数据。
平台支持文本类数据集的清洗操作,分为数据提取、数据转换、数据过滤三类,文本类加工算子能力清单见表1。
算子分类 |
算子名称 |
算子描述 |
---|---|---|
数据提取 |
WORD内容提取 |
从Word文档中提取文字,并保留原文档的目录、标题和正文等结构,不保留图片、表格、公式、页眉、页脚。 |
TXT内容提取 |
从TXT文件中提取所有文本内容。 |
|
CSV内容提取 |
从CSV文件中读取所有文本内容,并按该文件内容类型模板KEY值生成匹配的JSON格式数据。 |
|
PDF内容提取 |
从PDF中提取内容转换为结构化数据。 |
|
JSON内容提取 |
提取JSON文件中的键值对信息。 |
|
HTML内容提取 |
基于标签路径提取HTML数据内容,并将其他与待提取标签路径无关的内容删除。 |
|
电子书内容提取 |
从电子书中提取出所有文本内容。 |
|
智能文档解析 |
从PDF(支持扫描版)或图片中提取文本,转化为结构化数据,持文本、表格、表单、公式等内容提取。 |
|
数据转换 |
个人数据脱敏 |
对文本中的手机号码、身份证件、邮箱地址、url链接、国内车牌号、IP地址、MAC地址、IMEI、护照、车架号等个人敏感信息进行数据脱敏,或直接删除敏感信息。 |
中文简繁转换 |
将中文简体和中文繁体进行转换。 |
|
符号标准化 |
查找文本中携带的非标准化符号进行标准化、统一化转换。
|
|
自定义正则替换 |
数据条目不变下,使用自定义正则表达式替换文本内容。 示例如下:
|
|
日期时间格式转换 |
自动识别日期、时间、星期,同时根据选择的格式进行统一转换。 |
|
数据过滤 |
异常字符过滤 |
查找数据集每一条数据中携带的异常字符,并将异常字符替换为空值,数据条目不变。
|
自定义正则过滤 |
删除符合自定义正则表达式的数据。 |
|
自定义关键词过滤 |
剔除包含关键词的数据。 |
|
敏感词过滤 |
对文本中涉及黄色、暴力、政治等敏感数据进行自动检测和过滤。 |
|
文本长度过滤 |
按照设置的文本长度,保留长度范围内的数据进行。 |
|
冗余信息过滤 |
按照段落粒度,删除文本中的冗余信息,不改变数据条目。 例如目录封面、图注表注、标注说明、尾部信息、冗余段落和参考文献等。 |
|
N-gram特征过滤 |
用于判断文档重复度,根据特征N值计算文档内词语按N值组合后的重复此时,可通过以下两种算法比较结果是否大于特征阈值,大于特征阈值的文档删除。
|
|
段落特征过滤 |
根据如下特征过滤:
|
|
句子特征过滤 |
该算子将文档中的标点符号作为句子分隔符,统计每句字符长度,若文档平均字符长度大于设置字符,则保留,反之则删除整篇文档。根据如下特征过滤:
|
|
词语特征过滤 |
词个数表示按照系统词库,对文档进行分词,分词后统计词的总个数,平均词长度为所有词的长度总和除以词总个数,两者都满足则保留当前文档。根据如下特征过滤:
|
|
段落结尾不完整句子过滤 |
按照句子的过滤粒度,自动识别段落结尾处的内容是否完整,如果不完整,则过滤。 |
|
广告数据过滤 |
按照句子的过滤粒度,删除文本中包含广告数据的句子。 |
|
QA对过滤 |
过滤包含以下情况的QA对:
|
|
语种过滤 |
通过语种识别模型得到文档的语言类型,筛选所需语种的文档。 |
|
全局文本去重 |
检测并去除数据中重复或高度相似的文本,防止模型过拟合或泛化性降低。 |
|
数据打标 |
预训练文本分类 |
针对预训练文本进行内容分类,例如新闻、教育、健康等类别,支持分析语种包括:中文、英文。 |
通用质量评估 |
针对文本进行通用质量的评估,例如流畅度、清晰度、丰富度等。
说明:
使用该清洗算子前,请确保有已部署的NLP大模型,具体步骤详见创建NLP大模型部署任务。 |