文本类加工算子介绍
数据加工算子为用户提供了多种数据操作能力,包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息,并进行深度加工,以生成高质量的训练数据。
平台支持文本类数据集的加工操作,分为数据提取、数据转换、数据过滤、数据打标四类,文本类加工算子能力清单见表1。
算子分类 |
算子名称 |
算子描述 |
---|---|---|
数据提取 |
从Word文档中提取文字,并保留原文档的目录、标题和正文等结构,不保留图片、表格、公式、页眉、页脚。 |
|
从TXT文件中提取所有文本内容。 |
||
从CSV文件中读取所有文本内容,并按该文件内容类型模板KEY值生成匹配的JSON格式数据。 |
||
从PDF中提取文本,转化为结构化数据,支持文本、表格、公式等内容提取。 |
||
提取JSON文件中的键值对信息。 |
||
基于标签路径提取HTML数据内容,并将其他与待提取标签路径无关的内容删除。 |
||
从电子书中提取出所有文本内容。 |
||
数据转换 |
对文本中的手机号码、身份证件、邮箱地址、url链接、国内车牌号、IP地址、MAC地址、IMEI、护照、车架号等个人敏感信息进行数据脱敏,或直接删除敏感信息。 |
|
将中文简体和中文繁体进行转换。 |
||
查找文本中携带的非标准化符号进行标准化、统一化转换。
|
||
数据条目不变下,使用自定义正则表达式替换文本内容。 示例如下:
|
||
自动识别日期、时间、星期,同时根据选择的格式进行统一转换。 |
||
数据过滤 |
查找数据集每一条数据中携带的异常字符,并将异常字符替换为空值,数据条目不变。
|
|
删除符合自定义正则表达式的数据。 |
||
剔除包含关键词的数据。 |
||
对文本中涉及黄色、暴力、政治等敏感数据进行自动检测和过滤。 |
||
按照设置的文本长度,保留长度范围内的数据进行。 |
||
按照段落粒度,删除文本中的冗余信息,不改变数据条目。 例如图注表注和参考文献。 |
||
用于判断文档重复度,根据特征N值计算文档内词语按N值组合后的重复此时,可通过以下两种算法比较结果是否大于特征阈值,大于特征阈值的文档删除。
|
||
根据如下特征过滤:
|
||
该算子将文档中的标点符号作为句子分隔符,统计每句字符长度,若文档平均字符长度大于设置字符,则保留,反之则删除整篇文档。根据如下特征过滤:
|
||
词个数表示按照系统词库,对文档进行分词,分词后统计词的总个数,平均词长度为所有词的长度总和除以词总个数,两者都满足则保留当前文档。根据如下特征过滤:
|
||
按照句子的过滤粒度,自动识别段落结尾处的内容是否完整,如果不完整,则过滤。 |
||
按照句子的过滤粒度,删除文本中包含广告数据的句子。 |
||
过滤包含以下情况的QA对:
|
||
通过语种识别模型得到文档的语言类型,筛选所需语种的文档。 |
||
检测并去除数据中重复或高度相似的文本,防止模型过拟合或泛化性降低。 |
||
数据打标 |
针对预训练文本进行内容分类,例如新闻、教育、健康等类别,支持分析语种包括:中文、英文。 |
|
针对文本进行通用质量的评估,例如流畅度、清晰度、丰富度等。 |
||
判断问题是否具有时效性,并给出判断原因。 |
||
针对微调数据集的回答进行质量评分,例如逻辑连贯性、事实正确性等。 |
||
针对文本进行语法质量的评估,例如相关性、规范性等。 |