# 文本类加工算子介绍
平台支持文本类数据集的加工操作，分为数据提取、数据转换、数据过滤、数据打标四类，文本类加工算子能力清单见[表1]。
表1文本类加工算子能力清单
| 算子分类 | 算子名称 | 算子描述 |
|:---|:---|:---|
| 数据提取 | [WORD内容提取] | 从Word文档中提取文字，并保留原文档的目录、标题和正文等结构，不保留图片、表格、公式、页眉、页脚。 |
| 数据提取 | [TXT内容提取] | 从TXT文件中提取所有文本内容。 |
| 数据提取 | [CSV内容提取] | 从CSV文件中读取所有文本内容，并按该文件内容类型模板KEY值生成匹配的JSON格式数据。 |
| 数据提取 | [PDF内容提取] | 从PDF中提取文本，转化为结构化数据，支持文本、表格、公式等内容提取。 |
| 数据提取 | [HTML内容提取] | 基于标签路径提取HTML数据内容，并将其他与待提取标签路径无关的内容删除。 |
| 数据提取 | [电子书内容提取] | 从电子书中提取出所有文本内容。 |
| 数据转换 | [个人数据脱敏] | 对文本中的手机号码、身份证件、邮箱地址、URL链接、国内车牌号、IP地址、MAC地址、IMEI、护照、车架号等个人敏感信息进行数据脱敏，或直接删除敏感信息。 |
| 数据转换 | [中文简繁互转] | 将中文简体和中文繁体进行转换。 |
| 数据转换 | [符号标准化] | 查找文本中携带的非标准化符号进行标准化、统一化转换。 - 统一空格：将所有Unicode空格（如U+00A0、U+200A）转换为标准空格（U+0020）。 - 全角转半角：将文本中的全角字符转换为半角字符。 - 标点符号归一化，支持统一格式的符号如下： - {"？": "\\?\\？"} - {"\[":"〖"} - {"\]":"〗"} - 数字符号归一化，例如将⓪\|\|\|⓿\|统一为0.。支持统一格式的符号如下： - {"0.": "⓪\|\|\|⓿\|"} - {"1.": "①\|⑴\|㊀\|⒈\|⓵\|➊\|❶\|➀"} - {"2.": "②\|⑵\|㊁\|⒉\|⓶\|➋\|❷\|➁"} - {"2.": "②\|⑵\|㊁\|⒉\|⓶\|➋\|❷\|➁"} - {"3.": "③\|⑶\|㊂\|⒊\|⓷\|➌\|❸\|➂"} - {"4.": "④\|⑷\|㊃\|⒋\|⓸\|➍\|❹\|➃"} - {"5.": "⑤\|⑸\|㊄\|⒌\|⓹\|➎\|❺\|➄"} - {"6.": "⑥\|⑹\|㊅\|⒍\|⓺\|➏\|❻\|➅"} - {"7.": "⑦\|⑺\|㊆\|⒎\|⓻\|➐\|❼\|➆"} - {"8.": "⑧\|⑻\|㊇\|⒏\|⓼\|➑\|❽\|➇"} - {"9.": "⑨\|⑼\|㊈\|⒐\|⓽\|➒\|❾\|➈"} - {"10.": "⑩\|⑽\|㊉\|⒑\|⓾\|➓\|❿\|➉"} |
| 数据转换 | [自定义正则替换] | 数据条目不变下，使用自定义正则表达式替换文本内容。 示例如下： - 去除"参考文献"以及之后的内容：**\\n参考文献\[\\s\\S\]\*** - 针对pdf的内容，去除"0 引言"之前的内容，引言之前的内容与知识无关：**\[\\s\\S\]{0，10000}0 引言** - 针对pdf的内容，去除"1.1Java简介"之前的与知识无关的内容：**\[\\s\\S\]{0，10000} 1\\. 1Java简介** |
| 数据转换 | [日期时间格式转换] | 自动识别日期、时间、星期，同时根据选择的格式进行统一转换。 |
| 数据转换 | [问答N选一] | 对于问答排序类型的数据，通过调用大模型，选出最优的答案放到答案列表第一个，其余答案顺序不变。 |
| 数据转换 | [问答排序] | 对于问答排序类型的数据，通过两两配对，调用大模型进行评价得分，最终根据得分得出预排序结果。 |
| 数据转换 | [数据蒸馏] | 对于单轮问答类型数据，基于问题（context字段）生成回答，返回新的单轮问答数据。 |
| 数据转换 | [段落结尾不完整句子移除] | 按照句子的过滤粒度，自动识别段落结尾处的内容是否完整，如果不完整，则删除。 |
| 数据转换 | [广告数据移除] | 按照句子的过滤粒度，删除文本中包含广告数据的句子。 |
| 数据转换 | [数据合并算子] | 数据集和用户指定的obs路径下的数据按照指定字段进行left join合并，用户指定的obs路径下的数据仅支持json、jsonl、csv、parquet格式。 |
| 数据转换 | [重复标点符号替换] | 文章中标点符号使用不规范，同一种标点符号同时连续出现多次，支持去重后保留正确的标点符号。 |
| 数据转换 | [文本生成QA算子] | 支持"单模式-续写"、"单模式-作文"、"单模式-补全"、"多模式"、"默认模式"等多种生成模式， 其中"默认模式"表示单条数据根据最适合的方式进行转化，最后只会形成一条QA数据；"多模式"表示单条数据按照多种模型进行转化，最后形成多条QA数据，可以增加数据任务类型的多样性。 |
| 数据过滤 | [异常字符过滤] | 查找数据集每一条数据中携带的异常字符，并将异常字符替换为空值，数据条目不变。 - 不可见字符，比如U+0000-U+001F。 - 表情符六。 - 网页标签符号\\。 - 特殊符号，比如● █ ◆。 - 乱码和无意义的字符�����。 - 特殊空格：\[\\u2000-\\u2009\] |
| 数据过滤 | [自定义正则过滤] | 删除或保留符合自定义正则表达式的数据。 |
| 数据过滤 | [自定义关键词过滤] | 剔除包含关键词的数据。 |
| 数据过滤 | [敏感词过滤] | 对文本中涉及黄色、暴力、政治等敏感数据进行自动检测和过滤。 |
| 数据过滤 | [文本长度过滤] | 按照设置的文本长度，保留长度范围内的数据。 |
| 数据过滤 | [冗余信息过滤] | 按照段落粒度，删除文本中的冗余信息，不改变数据条目。 例如图注表注和参考文献。 |
| 数据过滤 | [N-gram特征过滤] | 用于判断文档重复度，根据特征N值计算文档内词语按N值组合后的重复此时，可通过以下两种算法比较结果是否大于特征阈值，大于特征阈值的文档删除。 - top-gram过滤：计算**重复最多**的gram占总长度的比例，大于特征阈值则删除。 - gram重复率过滤：计算**所有重复**的gram占总长度的比例，大于特征阈值则删除。 |
| 数据过滤 | [段落特征过滤] | 根据如下特征过滤： - 段落重复率。 - 重复段落长度占比。 - 非中文字符占比。 |
| 数据过滤 | [句子特征过滤] | 该算子将文档中的标点符号作为句子分隔符，统计每句字符长度，若文档平均字符长度大于设置字符长度，则保留，反之则删除整篇文档。根据如下特征过滤： - 待保留的平均句长。 |
| 数据过滤 | [词语特征过滤] | 词个数表示按照系统词库，对文档进行分词，分词后统计词的总个数，平均词长度为所有词的长度总和除以词总个数，两者都满足则保留当前文档。根据如下特征过滤： - 待保留的词个数。 - 待保留的平均词长度。 |
| 数据过滤 | [QA对过滤] | 过滤包含以下情况的QA对： - 问题不是string格式。 - 回答为空。 - 回答无意义。 |
| 数据过滤 | [语种过滤] | 通过语种识别模型得到文档的语言类型，筛选所需语种的文档。 |
| 数据过滤 | [SFT规则质检过滤] | 通过所选规则对SFT数据质量进行检查并过滤。 |
| 数据去重 | [全局文本去重] | 检测并去除数据中重复或高度相似的文本，防止模型过拟合或泛化性降低。 |
| 数据去重 | [问答对去重] | 检测并去除数据中重复或高度相似的文本，防止模型过拟合或泛化性降低。 |
| 数据去重 | [Embedding相似去重] | 根据数据的Embedding相似度进行去重，减少重复数据对模型的不可控影响。 |
| 数据打标 | [SFT通用语义质量评分] | 通过LLM对SFT数据质量做通用语义检查和打分，并可根据打分阈值进行过滤。 |
| 数据打标 | [SFT思维链质量评分] | 通过LLM对SFT数据中的思维链做质量检查和打分，并可根据打分阈值进行过滤。 |
| 数据打标 | [违禁文本检测算子] | 违禁内容检测算子通过对输入中文文本内容分析，最终返回文本中是否含有违禁内容的JSON结构化结果。 |
| 数据打标 | [个人隐私识别] | 个人隐私内容检测算子通过对输入中文文本内容分析，最终返回文本中是否含有个人隐私内容的JSON结构化结果。 |
| 数据打标 | [垃圾内容文本检测算子] | 垃圾内容检测算子通过对输入中文文本内容分析，最终返回文本中是否含有垃圾内容的JSON结构化结果。 |
| 数据打标 | [广告文本检测算子] | 垃圾广告内容检测算子通过对输入中文文本内容分析，最终返回文本中是否含有垃圾广告内容的JSON结构化结果。 |
| 数据打标 | [色情文本检测算子] | 色情内容检测算子通过对输入中文文本内容分析，最终返回文本中是否含有色情内容的JSON结构化结果。 |
| 数据打标 | [辱骂文本检测算子] | 辱骂内容检测算子通过对输入中文文本内容分析，最终返回文本中是否含有辱骂内容的JSON结构化结果。 |
| 数据打标 | [涉政文本检测算子] | 政治敏感内容检测算子通过对输入中文文本内容分析，最终返回文本中是否含有政治敏感内容的JSON结构化结果。 |
| 数据打标 | [预训练文本分类] | 针对预训练文本进行内容分类，例如新闻、教育、健康等类别，支持分析语种包括：中文、英文。 |
| 数据打标 | [通用质量评估] | 针对文本进行通用质量的评估，例如流畅度、清晰度、丰富度等。 |
| 数据打标 | [问题时效性评估] | 判断问题是否具有时效性，并给出判断原因。 |
| 数据打标 | [回答质量评分] | 针对微调数据集的回答进行质量评分，例如逻辑连贯性、事实正确性等。 |
| 数据打标 | [语法质量评估] | 针对文本进行语法质量的评估，例如相关性、规范性等。 |
| 数据打标 | [文本分类标签v2算子] | 针对文本进行内容分类，例如汽车、体育、医疗等类别，支持分析语种包括：中文、英文。 |
| 数据打标 | [泛理科文本检测算子] | 检测文本所属行业及是否为理科数据，例如金融行业的报表分析、医疗行业的技术研究等。 |
| 数据抽样 | [Embedding相似性检索] | 基于embedding进行相似性检索，支持指定检索字段，支持指定多条检索query，每条query将检索出相似的topN数据。 |
| 数据抽样 | [数据采样算子] | 对数据的某个维度抽取固定大小的数据，支持按某个字段的某个值进行过滤，并支持指定采样字段，采样固定大小的数据。 |
| 数据拆分 | [数据集拆分] | 对输入的数据进行拆分，生成多个数据集。 |
| 数据拆分 | ++文档拆分++ | 对文档、网页提取后的预训练文本进行切分，生成多个分片数据。 |
使用数据打标的问题时效性评估、回答质量评分、语法质量评估、通用质量评估、SFT通用语义质量评分、SFT思维链质量评分算子、泛理科文本检测前，请确保有已部署的NLP大模型，具体步骤详见[创建NLP大模型部署任务](https://support.huaweicloud.com/usermanual-pangulm/pangulm_04_0176.html)。
#### WORD内容提取
- 适用的文件格式："文档 \> docx"。
- 各参数说明： 待提取内容类型：从Word文档中提取文本，保留原文档的标题和正文等结构，不保留图片、公式、页眉、页脚，不支持嵌套表格提取。
- 参数配置样例： 不需要配置参数，默认保留原文档的目录、标题和正文等结构，不保留图片、表格、公式、页眉、页脚。
- 提取样例： 本地导入：{"fileName":"JAVA从入门到精通.docx","original_path": "Local Import","text":"JAVA是一种跨平台......"}
OBS导入：{"fileName":"JAVA从入门到精通.docx","original_path": "nlp_data/word/JAVA从入门到精通.docx","text":"JAVA是一种跨平台......"}
AI Gallery: {"fileName":"JAVA从入门到精通.docx","original_path": "Gallery Subscription","text":"JAVA是一种跨平台......"}
#### TXT内容提取
- 适用的数据集类型："文档 \> txt"。
- 各参数说明： 待提取内容类型：默认全文提取成一行记录，也可以选择按段落提取，根据填写的分隔符，将文本切分成多行，每个分隔符以"\|"分隔，分隔符最大长度100个字符。
- 参数配置样例： 
- 提取样例： 本地导入：{"fileName":"TXT文档名.txt","original_path": "Local Import","text":"这是第一行。"}
OBS导入：{"fileName":"TXT文档名.txt","original_path": "nlp_data/word/TXT文档名.txt","text":"这是第一行。"}
AI Gallery：{"fileName":"TXT文档名.txt","original_path": "Gallery Subscription","text":"这是第一行。"}
#### CSV内容提取
- 适用的数据集类型："文本 \>单轮问答、单轮问答（人设）、问答排序"。
- 各参数说明： 待提取内容类型：从CSV文件中读取所有文本内容，并按该文件内容类型模板KEY值生成匹配的JSON格式数据。
- 参数配置样例： 不需要配置参数。
- 提取样例： 若提取CSV样式如："你好，请介绍自己，我是盘古大模型"，则提取内容输出为：｛"context":"你好，请介绍自己","target":"我是盘古大模型"｝
#### PDF内容提取
- 适用的数据集类型："文档 \> pdf"
- 各参数说明： 待提取内容类型：默认保留文本、表格、公式和标题，支持选择需要保存的类型，未选择的类型将去除。
精细化内容提取：是否支持版面分析完识别是图片的内容再次进行版面分析提取。
表格提取可选格式：默认Latex，支持将表格转为Markdown格式。
- 参数配置样例： 
- 提取样例： 本地导入：{"fileName":"JAVA从入门到精通.pdf","original_path": "Local Import","text":"JAVA是一种跨平台......"}
OBS导入：{"fileName":"JAVA从入门到精通.pdf","original_path": "nlp_data/pdf/JAVA从入门到精通.pdf","text":"JAVA是一种跨平台......"}
AI Gallery：{"fileName":"JAVA从入门到精通.pdf","original_path": "Gallery Subscription","text":"JAVA是一种跨平台......"}
- 算子限制： pdf内容提取处理大规模数据时，运行时间超过24小时会中断，建议拆分后再执行。
#### HTML内容提取
- 适用的数据集类型："文本 \> 网页"
- 各参数说明： 待提取内容类型：文件编码格式默认UTF-8，支持选择GB2312格式。默认提取BODY，支持用户自定义修改;可以提取多个标签，标签之间逗号分隔，例如A，B，C即提取A或者B或者C标签的内容。
- 参数配置样例： 
- 提取样例： 本地导入：{"text":"#\\n我是盘古大模型\\n盘古大模型是一个先进的人工智能模型，致力于为各行各业提供智能化的解决方案。","original_path": "Local Import","fileName":"网页.htmI"}
OBS导入：{"text":"#\\n我是盘古大模型\\n盘古大模型是一个先进的人工智能模型，致力于为各行各业提供智能化的解决方案。","original_path": "nlp_data/html/"网页.htmI","fileName":"网页.htmI"}
AI Gallery：{"text":"#\\n我是盘古大模型\\n盘古大模型是一个先进的人工智能模型，致力于为各行各业提供智能化的解决方案。","original_path": "Gallery Subscription","fileName":"网页.htmI"}
#### 电子书内容提取
- 适用的数据集类型："文档 \> mobi/epub"。
- 各参数说明： 待提取内容类型：从mobi/epub格式的电子书中提取出所有文本内容。
- 参数配置样例： 不需要配置参数。
- 提取样例： 本地导入：{"fileName":"JAVA从入门到精通.epub","original_path": "Local Import","text":"JAVA是一种跨平台......"}
OBS导入：{"fileName":"JAVA从入门到精通.epub","original_path": "nlp_data/epub/JAVA从入门到精通.epub","text":"JAVA是一种跨平台......"}
AI Gallery：{"fileName":"JAVA从入门到精通.epub","original_path": "Gallery Subscription","text":"JAVA是一种跨平台......"}
#### 个人数据脱敏
- 适用的数据集类型："文本类"。
- 各参数说明： 待转换内容类型：对文本中的手机号码、身份证件、邮箱地址、URL链接、国内车牌号、IP地址、MAC地址、IMEI、护照、车架号等个人敏感信息进行数据脱敏，默认全部勾选，也可以选择部分。
- 参数配置样例： 
- 转换样例： 加工前: "数据来自www.test.com"
加工后:"数据来自\*\*\*\*\*\*\*"
#### 中文简繁互转
- 适用的数据集类型："文本类"。
- 各参数说明： 待转换内容类型：支持中文简体和中文繁体进行转换，过滤粒度为字符，默认转换方式为繁体转简体。
- 参数配置样例： 
- 转换样例： 
#### 符号标准化
- 适用的数据集类型："文本类"。
- 各参数说明： 待转换内容类型：支持对文本中携带的非标准化符号进行标准化、统一化转换，待标准化符号有空格、全角符号、标点符号、数字符号，默认全部勾选，过滤粒度为字符。
- 参数配置样例： 
- 转换样例：根据映射表进行符号识别并映射。 加工前: {"fileName":"文本1.txt","text":"测试②①③非标准"}
加工后: {"fileName":"文本1.txt","text":"测试2.1.3.非标准"}
#### 自定义正则替换
- 适用的数据集类型："文本类"。
- 各参数说明： 待转换内容类型：数据条目不变下，使用自定义正则表达式替换文本内容。
- 参数配置样例： 
- 转换样例： 加工前: {"text":"这是aeiou正文内容aeiou测试aeiou。"}
加工后: {"text":"这是11111正文内容11111测试11111。"}
#### 日期时间格式转换
- 适用的数据集类型："文本类"。
- 各参数说明： 待转换内容类型：自动识别日期、时间、星期，同时根据选择的格式进行统一转换。转换类型包括日期格式、时间格式、星期格式，默认全都勾选，也支持选择部分进行转换。
- 参数配置样例： 
- 转换样例： 加工前: {"text":"今天是2025年3月3号，周一，早上雨真大。"}
加工后: {"text":"今天是2025-03-03 00:00:00，星期一，早上雨真大。"}
#### 问答N选一
- 适用的数据集类型："文本类-问答排序"。
- 各参数说明： 算子依赖的大模型：选择要使用的大模型，支持预置服务和我的服务。
- 参数配置样例： 
- 转换样例：
- 
#### 问答排序
- 适用的数据集类型："文本类-问答排序"。
- 各参数说明： 算子依赖的大模型：选择要使用的大模型，支持预置服务和我的服务。
- 参数配置样例： 
- 转换样例： 
#### 数据蒸馏
适用的数据集类型："文本类-单轮问答"、文本类-单轮问答（带人设）jsonl"。
各参数说明：
算子依赖的大模型：选择要使用的大模型，支持预置服务和我的服务。
参数配置样例：
转换样例：
#### 异常字符过滤
- 适用的数据集类型："文本类"。
- 各参数说明： 待过滤内容类型：查找数据集每一条数据中携带的异常字符，并将异常字符替换为空值，数据条目不变。异常字符过滤类型包括不可见字符、表情符、网页标签、特殊符号、乱码字符、特殊空格，默认全都勾选，也支持选择部分进行过滤。
- 参数配置样例： 
- 过滤样例： 加工前: {"text":"测试异常●▌◆。\\哈哈。限时特惠!☺"}
加工后: {"text":"测试异常 。哈哈。 限时特惠!"}
#### 自定义正则过滤
- 适用的数据集类型："文本类"。
- 各参数说明： 待过滤内容类型：按自定义正则表达式进行匹配过滤，过滤粒度支持按字符、段落进行过滤，默认勾选字符。
输入正则表达式：自定义正则过滤所需要的正则表达式。
保留匹配样本：当待过滤内容类型为段落时展示，默认为否。
- 参数配置样例： 
- 过滤样例： 比如过滤掉参考文献之后的内容。
加工前: {"text":"这是正文内容。参考文献\[1\]作者1，文章1，期刊1，2021.\[2\] 作者2，文章2，期刊2，2022."}
加工后: {"text":"这是正文内容。"}
#### 自定义关键词过滤
- 适用的数据集类型："文本类"。
- 各参数说明： 待过滤内容类型：过滤粒度支持按字符、段落、文档进行过滤，默认勾选字符。待删除的关键词路径支持从obs中导入关键词，以及文本录入。
- 参数配置样例： 
- 过滤样例： 比如按关键词测试进行过滤。
加工前: {"text":"关键词测试这是一条测试数据。"}
加工后: {"text":"关键词这是一条数据。"}
#### 敏感词过滤
- 适用的数据集类型："文本类"。
- 各参数说明： 待过滤内容类型：对文本中涉及黄色、暴力、政治等敏感数据进行自动检测和过滤，需要预置敏感词。过滤粒度支持按字符、段落、文档进行过滤，默认勾选字符
- 参数配置样例： 
- 过滤样例： 加工前: {"text":"嫖客啊fuck测试"}
加工后: {"text":"啊测试"}
#### 文本长度过滤
- 适用的数据集类型："文本类"。
- 各参数说明： 待过滤内容类型：按照设置的文本长度，保留长度范围内的数据。默认待保留字符的长度范围为100-1000字符，支持修改，最小值为1。
- 参数配置样例： 
- 过滤样例： 加工前：{"text": " 测试长度"}
加工后：{"text":""}
#### 冗余信息过滤
- 适用的数据集类型："文本类"。
- 各参数说明： 待过滤内容类型：按照段落粒度，删除文本中的冗余信息，不改变数据条目。支持过滤的内容类型包括图注表注、参考文献，默认全都勾选，也支持选择部分。
- 参数配置样例： 
- 过滤样例： 
#### N-gram特征过滤
- 适用的数据集类型："文本类"。
- 各参数说明： 待过滤内容类型：按照文档过滤粒度，可以选择top-gram过滤和gram重复率过滤，默认勾选top-gram过滤。其中top-gram过滤方式特征N值默认2，特征阈值默认0.18，gram重复率过滤方式特征N值默认2，特征阈值默认0.15，支持修改。
- 参数配置样例： 
- 过滤样例： 
加工前: {"text":"醒醒，今天星期天，今天不上班，今天放假，明天星期一，明天上班。"}
加工后: {"text":""}
#### 段落特征过滤
- 适用的数据集类型："文本类"。
- 各参数说明： 待过滤内容类型：按照文档过滤粒度，根据段落重复率、重复段落长度占比、非中文字符占比进行过滤，如果没有同时满足则过滤。默认值分别为段落重复率小于等于65%、重复段落长度占比小于等于65%、非中文字符占比1-50%，支持修改。
- 参数配置样例： 
- 过滤样例： 加工前: {"text":"传说中，狐狸只对那些心地纯洁、愿望真诚的人显现。它会在月光下优雅地出现，用那双闪烁着智慧光芒的眼睛注视着来者。只有当狐狸感受到来者的真诚和纯洁，它才会开口说话，询问他们的愿望。 然而，愿望的实现并非没有代价。每一个愿望的实现都需要付出相应的代价。这个代价可能是珍贵的记忆，可能是深爱的事物，甚至可能是生命的一部分。因此，村民们在许愿之前，必须慎重考虑，是否愿意承担这样的代价。 传说中，狐狸只对那些心地纯洁、愿望真诚的人显现。它会在月光下优雅地出现，用那双闪烁着智慧光芒的眼睛注视着来者。只有当狐狸感受到来者的真诚和纯洁，它才会开口说话，询问他们的愿望。 然而，愿望的实现并非没有代价。每一个愿望的实现都需要付出相应的代价。这个代价可能是珍贵的记忆，可能是深爱的事物，甚至可能是生命的一部分。因此，村民们在许愿之前，必须慎重考虑，是否愿意承担这样的代价。"}
加工后:
#### 句子特征过滤
- 适用的数据集类型："文本类"。
- 各参数说明： 待过滤内容类型：按照文档过滤粒度，根据待保留的平均句长进行过滤，如果不满足则过滤。待保留的平均句长默认值为大于等于10个字符，支持修改，最小值为1。
- 参数配置样例： 
- 过滤样例： 加工前: {"text":"在一个小村庄里，有一个传说。传说中，每当满月之夜，村庄的森林里会出现一只神秘的狐狸。"}
加工后: {"text":""}
#### 词语特征过滤
- 适用的数据集类型："文本类"。
- 各参数说明： 待过滤内容类型：按照文档过滤粒度，根据待保留的词个数（默认50-100000字符），最小值为1。
待保留的平均词长度（默认50-100000字符）进行过滤，如果没有同时满足则过滤。支持修改默认值，最小值为1。
- 参数配置样例： 
- 过滤样例： 加工前: {"text":"传说中，狐狸只对那些心地纯洁、愿望真诚的人显现。" }
加工后: {"text":""}
#### 段落结尾不完整句子移除
- 适用的数据集类型："文本类"。
- 各参数说明： 待过滤内容类型：按照句子的过滤粒度，自动识别段落结尾处的内容是否完整，如果不完整，则删除。
- 参数配置样例： 
- 过滤样例： 加工前:"JAVA是一种面向对象的程序设计语言。使用JAVA语言。"
加工后:"JAVA是一种面向对象的程序设计语言。"
#### 广告数据移除
- 适用的数据集类型："文本类"。
- 各参数说明： 待过滤内容类型：按照句子的过滤粒度，删除文本中包含广告数据的句子。
- 参数配置样例： 
- 过滤样例： 加工前: {"text": "※具体优惠信息！※购买我们的产品，享受高达50%的折扣！单击链接获取低价:https://example.com不要错过这个机会，赶快行动吧！"}
加工后: {"text":""}
#### 数据合并算子
- 适用的数据集类型："文本类"。
- 各参数说明： 数据合并字段 ：两份数据相同的字段，用于数据合并。
需要被合并的数据OBS路径：被合并数据集的OBS路径，仅支持json、jsonl、csv、parquet文件。
- 参数配置样例： 
- 转换样例： 加工前：{"context": "参考资料中没有提供足够的信息来生成一个有意义的问题。","target": "无法通过参考资料生成问题", "start_domain_specific_l1": "其他"}
加工后：{"context":"参考资料中没有提供足够的信息来生成一个有意义的问题。","target":"无法通过参考资料生成问题","start_domain_specific_l1":"其他","description":"其他领域的描述知识"}
#### 重复标点符号替换
- 适用的数据集类型："文本类"。
- 各参数说明： 需要去除重复标点符号的字段名：要去除重复标点符号的字段名，支持配置多个字段，以,分隔；不填默认所有字段都会被处理。
- 参数配置样例： 
- 转换样例： 加工前：{"context": "今天天气怎么样？？？", "target": "今天天气晴朗！！阳光明媚\~\~\~！！"}
加工后：{"context":"今天天气怎么样？","target":"今天天气晴朗！阳光明媚\~！"}
#### 文本生成QA算子
- 适用的数据集类型："文本类"。
- 各参数说明： 转换模式：支持"单模式-续写"、"单模式-作文"、"单模式-补全"、"多模式"、"默认模式"等多种生成模式， 其中"默认模式"表示单条数据根据最适合的方式进行转化，最后只会形成一条QA数据；"多模式"表示单条数据按照多种模型进行转化，最后形成多条QA数据，可以增加数据任务类型的多样性。
单条数据的最大字符长度：转化后的回答数据最大字符长度，超过长度"作文"作文模式下会过滤该条数据，其他模式下会进行拆分。下面给出基础功能模型对应的数据字符长度建议值，实际使用时，可以根据数据情况调整，但是需要保证数据转化为Token后不得超出训练模型的上下文Token长度，参数最小值为1。模型上下文Token长度对应的最大字符长度建议值如下：
32768 Token：最大字符长度 \<= 25000字符
8196 Token：最大字符长度 \<= 7500字符
4096 Token： 最大字符长度 \<= 3500字符
标题列名称：用于获取数据中的标题。单模式-作文模型下必填，且列必须在数据中实际存在。
文本列名称：用于获取数据中的文本。默认为text。
- 参数配置样例： 
- 转换样例： 加工前：{"title": "电子烟行业团体响应学者制定国标呼吁", "text": "业界反馈"}
加工后：{"context":"请以专业的视角围绕\\"电子烟行业团体响应学者制定国标呼吁\\"主题生成一篇专业文档","target":"业界反馈","length":4,"type":"text_generation"}
#### QA对过滤
- 适用的数据集类型："文本类"。
- 各参数说明： 待过滤内容类型：过滤问题不是string格式、回答为空、回答无意义的QA对。
- 参数配置样例： 不需要配置参数。
- 过滤样例： 加工前: {"text":\[{"context":"你好","target":"对对对"},{"context":"列表","target":""}\]}
加工后: {"text":\[{"context":"你好","target":"对对"}\]}
#### 语种过滤
- 适用的数据集类型："文本类"。
- 各参数说明： 待过滤内容类型：按照文档过滤粒度，根据待保留语种、待删除阈值文档字段进行过滤，如果满足则过滤。
待保留语种默认中文，支持选择英文。
待删除阈值文档默认值小于0.65，支持修改，阈值范围为0-1。
- 参数配置样例： 
- 过滤样例： 加工前: {"text":"Hello, my name is Li Ming. I am excited to introduce myself and share a bit about who l am."}
加工后: {"text":""}
#### 全局文本去重
- 适用的数据集类型："文本类-文档、网页、预训练文本"。
- 各参数说明： 待过滤内容类型：检测并去除数据中重复或高度相似的文本，防止模型过拟合或泛化性降低。
- 参数配置样例： 不需要配置参数。
- 过滤样例： 加工前：\[{"fileName":"文本1.txt","text":"传说中，狐狸只对那些心地纯活、愿望真诚的人显现。"},{"fileName":"文本2.txt","text":"传说中，狐狸只对那些心地纯洁、愿望真诚的人显现。"}\]
加工后：{"fileName":"文本1.txt","text":"传说中，狐狸只对那些心地纯洁、愿望真诚的人显现。"}
#### Embedding相似去重
- 适用的数据集类型："文本类"。
- 各参数说明： 语言：数据集预料语言类型。
特征获取字段名：特征获取字段，计算embedding编码，用于如何挑选相似数据，如果不填默认为text或者context字段。
特征保留依据字段：根据embedding获取topN相似数据后，保留相似数据中，该字段值长度最长的记录，如果不填默认为text或者context字段。
是否过滤重复数据：过滤掉重复的数据，如果设置为不过滤重复数据，则会在结果中新增embedding_filter字段表示该条记录是否被过滤。
相似度阈值：当数据间的相似度小于阈值时会被选中，默认值0.2，取值范围\[0,2.0\]。
最相似的数据条数：每条记录查询出最相似的TopN条数据后，从中取出最相似的数据。默认值10，最小值为1。
- 参数配置样例： 
- 转换样例： 加工前：
{"context":"卫健委将电子烟纳入公共场所禁烟范围","target":"监管延伸"}
{"context":"生物学博士李雷：电子烟国标应涵盖尼古丁含量限制","target":"成分标准"}
{"context":"电子烟国标拟禁止水果口味吸引青少年","target":"特殊条款"}
{"context":"专家建议电子烟包装增加健康警示语","target":"消费提示"}
{"context":"电子烟国标制定首次引入消费者代表","target":"民主参与"}
{"context":"电子烟消费者调查：80%支持强制质量认证","target":"民意基础"}
{"context":"研究显示未监管电子烟含重金属超标3倍","target":"安全风险"}
{"context":"研究发现电子烟二手烟仍含致癌物质","target":"公共健康"}
{"context":"电子烟电池安全标准缺失致事故频发","target":"配件风险"}
{"context":"对比研究：中美电子烟监管体系差异","target":"国际比较"}
加工后：
{"context":"卫健委将电子烟纳入公共场所禁烟范围","target":"监管延伸"}
{"context":"生物学博士李雷：电子烟国标应涵盖尼古丁含量限制","target":"成分标准"}
{"context":"电子烟国标拟禁止水果口味吸引青少年","target":"特殊条款"}
{"context":"电子烟国标制定首次引入消费者代表","target":"民主参与"}
{"context":"电子烟消费者调查：80%支持强制质量认证","target":"民意基础"}
{"context":"研究显示未监管电子烟含重金属超标3倍","target":"安全风险"}
#### SFT通用语义质量评分
- 适用的数据集类型："文本类-单轮问答、单轮问答（人设）、问答排序"。
- 各参数说明：
1. 模型：需要选择模型。
2. 是否过滤：字段取值是和否，默认为否，阈值取值范围在0.0\~10.0之间，小于该值的样本将被过滤掉。
3. 阈值：默认值为6，支持修改。
- 参数配置样例： 
- 过滤样例： 加工前: \[{"system":"你是一个计算达人","context":"根据给定的两个城市之间的距离，计算旅行所需的时间。起始城市：北京，目的地城市：上海，距离：1318公里。\\n","target":"根据不同出行方式，北京到上海的旅行时间不同。如果乘坐高铁，大约需要5-6小时：如果乘坐飞机，大约需要2小时左右：如果驾车，大约需要13-14小时左右。"},{"system":"你是一个问答小能手","context":"在给定的一篇文章中，找到特定关键词的出现次数。\\n文章：今年世界杯期间，许多人会熬夜观看比赛。\\n关键词：世界杯\\n","target":"关键词\\"世界杯\\"在文章中出现了1次。"}\]
加工后: {"context":"在给定的一篇文章中，找到特定关键词的出现次数。\\n文章:今年世界杯期间，许多人会熬夜观看比赛。\\n关键词：世界杯\\n","filter":0.0,"qa_quality score":{"reason":"大模型正确地识别出关键词\\"世界杯\\"在文章中出现了 1 次，并且给出了正确的答案。","score":10.0},"system":"你是一个问答小能手","target":"关键词\\"世界杯\\"在文章中出现了 1 次。"}
**说明：**未过滤的数据会打标，打标字段包括reason原因、score分数。
#### SFT规则质检过滤
- 适用的数据集类型："文本类-单轮问答、单轮问答（人设）、问答排序"。
- 各参数说明：
1. 过滤规则：通过所选规则对SFT数据质量进行检查并过滤。过滤规则包括内容不是字符串、长文本被截断、内容不完整、中英文混杂、繁简混杂、包含重复内容、包含特殊符号、括号不对齐、重复pattern、乱码符号、中英文回复不统一、敏感模型身份、没有慢思考、数学答案不正确，除了数学答案不正确这个选项外其它选项默认全部勾选，也可以选择其中部分规则。
2. 是否过滤：取值是和否，默认为否。
3. 数学答案列名：当过滤规则中勾选"数学答案不正确"后需要填写，即数据集中存储正确答案的列名（key值），用来判断模型回答是否正确，如果没有匹配到该字段，默认为答案不正确。当"数学答案不正确"规则未勾选，该参数可忽略。
- 参数配置样例： 
- 过滤样例： 加工前: \[{"context":"你好，请介绍自己","target":"我是盘古hello world"},{"context":"诗仙指的是哪位诗人","target":"你好！繁體字在這裡"}\]
加工后:
#### SFT思维链质量评分
- 适用的数据集类型："文本类-单轮问答、单轮问答（人设）、问答排序 jsonl"。
- 各参数说明： 待过滤内容类型：通过LLM对SFT数据中的思维链做质量检查和打分，并可根据打分阈值进行过滤。
1. 模型：需要选择模型。
2. 是否过滤：取值是和否，默认值为否。
3. 阈值：取值范围在0.0\~6.0之间，小于该值的样本将被过滤掉，阈值默认值为6，支持修改。
4. 标准答案：界面支持用户输入标准答案的字段名，跟回答做比较，如果算子无法匹配到对应的字段名，则默认为无正确答案逻辑。
5. 数据判断规则：支持编辑，最大字符数1000。
6. 数据打分规则：支持编辑，最大字符数1000。
- 参数配置样例： 
- 过滤样例： 加工前：{"context":"context内容","targets":\["hello","hi","你好"\]}
加工后：{"context":"context内容","targets":\["hello","hi","你好"\],"qa_cot_score":{"score":\[{"result":"错误","score":0.0,"reason":\["模型回答不相关"\]},{"result":"错误","score":0.0,"reason":"回答不相关"},{"result":"错误","score":0.0,"reason":"\[模型回答不相关\]"}\]}}
**说明：**未过滤的数据会打标，打标字段包括result结果、score分数、reason原因。
#### 问答对去重
- 适用的数据集类型："文本类-单轮问答、单轮问答（人设） jsonl"。
- 各参数说明： 待过滤内容类型：过滤字段支持按问题、回复进行过滤，可以同时勾选，默认值为问题。过滤指标包括特征n-gram值、相似度阈值、文本最小单词数。其中特征n-gram指分词粒度，默认值为1，支持修改；相似度阈值范围0到1，默认值0.7，相似度阈值设的越小，数据过滤越多，也可能被误伤，设的越大，可能导致洗不干净；文本最小单词，按文本分词的个数，小于该个数的，就会被直接过滤，默认值为3。
- 参数配置样例：
- 过滤样例：
#### 违禁文本检测算子
- 适用的数据集类型："问答排序、单轮问答、单轮问答（带人设） jsonl"。
- 各参数说明：选"是"则是过滤算子，选否则不过滤。
- 参数配置样例： 
- 过滤样例： 打标前：
{"text": "QQ销售股民数据，你有吗"}
打标后：
{"text":"QQ销售股民数据，你有吗","text_ban_moderation":{"suggestion":"block","details":{"confidence":1.0,"label":"violation_info","risk_level":2,"segments":\[{"segment":"qq销售股民数据"},{"segment":"股民数据"},{"segment":"股民数据\&销售"},{"segment":"销售股民数据"}\],"suggestion":"block"}}}
suggestion字段表示对文件检测是否通过的结果，pass代表审核通过，没有问题；review代表需要人工复核，您可以按照您的审核策略选择放通还是拦截；block代表待审文件存在问题。
#### 个人隐私识别
- 适用的数据集类型："问答排序、单轮问答、单轮问答（带人设） jsonl"。
- 各参数说明：选"是"则是过滤算子，选否则不过滤。
- 参数配置样例：
- 过滤样例： 打标前：
{"text": "你保存一下我的MAC地址：20-6E-D4-88-F3-98"}
打标后：
{"text":"你保存一下我的MAC地址：20-6E-D4-88-F3-98","text_pii_moderation":{"suggestion":"block","details":\[{"start":33,"end":50,"length":17,"data":"20-6E-D4-88-F3-98","category":"MAC_ADDRESS"}\]}}
suggestion字段表示对文件检测是否通过的结果，pass代表审核通过无相应的问题；review代表需要人工复核，您可以按照您的审核策略选择放通还是拦截；block代表待审文件存在问题。
#### 垃圾内容文本检测算子
- 适用的数据集类型："问答排序、单轮问答、单轮问答（带人设） jsonl"。
- 各参数说明：选"是"则是过滤算子，选否则不过滤。
- 参数配置样例： 
- 过滤样例： 打标前：
{"text": "【开远假证848777596_qq合肥假证uhc0tm】什么意思_英语开远假证848777596_qq合肥假证uhc0tm的翻译_音标_读音_用法_例句_在线翻译_有道词典"}
打标后：
{"text":"【开远假证848777596_qq合肥假证uhc0tm】什么意思_英语开远假证848777596_qq合肥假证uhc0tm的翻译_音标_读音_用法_例句_在线翻译_有道词典","text_spam_moderation":{"details":\[{"confidence":1.0,"label":"abuse","risk_level":2,"segments":\[{"segment":"tm的"}\],"suggestion":"block"}\],"suggestion":"block"}}
suggestion字段表示对文件检测是否通过的结果，pass代表审核通过无相应的问题；review代表需要人工复核，您可以按照您的审核策略选择放通还是拦截；block代表待审文件存在问题。
#### 广告文本检测算子
- 适用的数据集类型："问答排序、单轮问答、单轮问答（带人设） jsonl"。
- 各参数说明：选"是"则是过滤算子，选否则不过滤。
- 参数配置样例： 
- 过滤样例： 打标前
{"context": "清仓大甩卖，全场只要2元", "target": "价格好便宜"}
打标后
{"context":"清仓大甩卖，全场只要2元","target":"价格好便宜","text_ad_moderation":{"details":\[\],"suggestion":"pass"}}
suggestion字段表示对文件检测是否通过的结果，pass代表审核通过无相应的问题；review代表需要人工复核，您可以按照您的审核策略选择放通还是拦截；block代表待审文件存在问题。
#### 色情文本检测算子
- 适用的数据集类型："问答排序、单轮问答、单轮问答（带人设） jsonl"。
- 各参数说明：选"是"则是过滤算子，选否则不过滤。
- 参数配置样例： 
- 过滤样例： 打标前：
{"text": "狼友黄站导航，现在就来快乐爆操，让的生活充满色情和刺激，还等"}
打标后：
{"text":"狼友黄站导航，现在就来快乐爆操，让的生活充满色情和刺激，还等","text_porn_moderation":{"suggestion":"block","details":"\[{'confidence': 1.0, 'label': 'porn_violence', 'risk_level': 2, 'segments': \[{'segment': '爆操'}, {'segment': '狼友黄站导航'}\], 'suggestion': 'block'}\]"}}
suggestion字段表示对文件检测是否通过的结果，pass代表审核通过无相应的问题；review代表需要人工复核，您可以按照您的审核策略选择放通还是拦截；block代表待审文件存在问题。
#### 辱骂文本检测算子
- 适用的数据集类型："问答排序、单轮问答、单轮问答（带人设） jsonl"。
- 各参数说明：选"是"则是过滤算子，选否则不过滤。
- 参数配置样例： 
- 过滤样例： 打标前：
{"text": "谁要和你一起死要死你自己死"}
打标后:
{"text":"谁要和你一起死要死你自己死","text_abuse_moderation":{"details":\[{"confidence":0.9998,"label":"abuse","risk_level":2,"segments":\[\],"suggestion":"block"}\],"suggestion":"block"}}
suggestion字段表示对文件检测是否通过的结果，pass代表审核通过无相应的问题；review代表需要人工复核，您可以按照您的审核策略选择放通还是拦截；block代表待审文件存在问题。
#### 涉政文本检测算子
- 适用的数据集类型："问答排序、单轮问答、单轮问答（带人设） jsonl"。
- 各参数说明：选"是"则是过滤算子，选否则不过滤。
- 参数配置样例： 
- 过滤样例： 打标前:
{"text": "但中共当局对这些网络质疑声音从来不屑于解释，而是直接封杀"}
打标后:
{"text":"但中共当局对这些网络质疑声音从来不屑于解释，而是直接封杀","text_polInfo_moderation":{"suggestion":"block","details":"\[{'confidence': 1.0, 'label': 'politics', 'risk_level': 3, 'segments': \[{'segment': '中共当局'}\], 'suggestion': 'block'}\]"}}
suggestion字段表示对文件检测是否通过的结果，pass代表审核通过无相应的问题；review代表需要人工复核，您可以按照您的审核策略选择放通还是拦截；block代表待审文件存在问题。
#### 预训练文本分类
- 适用的数据集类型："文档、预训练文本"。
- 各参数说明： 待打标内容类型：针对预训练文本进行内容分类，例如新闻、教育、健康等类别，支持分析语种包括：中文、英文，默认中文。
- 参数配置样例： 
- 打标样例： {"fileName":"新闻打标测试.docx","text":" 本报北京3月3日电(记者徐佩玉)中国人民银行发布的今年1月份金融市场运行情况显示，1月份，我国债券市场共发行各类债券51027.5亿元。其中，国债发行10185.0亿元,地方政府债券发行5575.7亿元，金融债券发行7042.1亿元，公司信用类债券发行12791.7亿元，信贷资产支持证券发行27.3亿元，同业存单发行15147.8亿元。\\n 截至1月末,我国债券市场托管余额178.2万亿元。其中，银行间市场托管余额156.9万亿元，交易所市场托管余额21.3万亿元。\\n在债券市场对外开放方面,截至1月末，境外机构在中国债券市场的托管余额4.2万亿元，占中国债券市场托管余额的比重为2.3%。其中，境外机构在银行间债券市场的债券托管余额4.1万亿元：分券种看，境外机构持有国债2.0万亿元、占比48.8%，同业存单1.1万亿元、占比25.8%，政策性银行债券0.9万亿元、占20.8%。\\n","pre_classification":"经济"}
#### 通用质量评估
- 适用的数据集类型："文本类-预训练文本"。
- 各参数说明： 待打标内容类型：针对文本进行通用质量的评估，例如流畅度、清晰度、丰富度等。需要选择模型、行业，其中行业支持手输，最高分为5分
- 参数配置样例： 
- 打标样例： {"fileName":"新闻打标测试.docx","text":"本报北京3月3日电(记者徐佩玉)中国人民银行发布的今年1月份金融市场运行情况显示,1月份,我国债券市场共发行各类债券51027.5亿元。其中,国债发行10185.0亿元,地方政府债券发行5575.7亿元,金融债券发行7042.1亿元,公司信用类债券发行12791.7亿元,信贷资产支持证券发行27.3亿元,同业存单发行15147.8亿元。\\n 截至1月末,我国债券市场托管余额178.2万亿元。其中,银行间市场托管余额156.9万亿元,交易所市场托管余额21.3万亿元。\\n在债券市场对外开放方面,截至1月末,境外机构在中国债券市场的托管余额4.2万亿元,占中国债券市场托管余额的比重为2.3%。其中,境外机构在银行间债券市场的债券托管余额4.1万亿元:分券种看,境外机构持有国债2.0万亿元、占比48.8%,同业存单1.1万亿元、占比25.8%,政策性银行债券0.9万亿元、占比20.8%。\\n","generalscore":{"教育价值":"5","清洁度":"5","isIncorrect":"false","毒性":"false","丰富度":"5","流畅度":"5","knowledge":"5"}}
#### 问题时效性评估
- 适用的数据集类型："文本类-单轮问答"。
- 各参数说明： 待打标内容类型：判断问题是否具有时效性，并给出判断原因。需要选择模型。分值只有0和1，1表示具有时效性，0表示不具有时效性。
- 参数配置样例： 
- 打标样例： {"context":"1-1-2江苏的省会在哪里?","target":"南京","timeliness_classification":0}
#### 回答质量评分
- 适用的数据集类型："文本类-单轮问答"。
- 各参数说明： 待打标内容类型：针对微调数据集的回答进行质量评分，例如逻辑连贯性、事实正确性等。需要选择模型。
- 参数配置样例： 
- 打标样例： {"context":"1-2-1中国的首都是哪里? ","target":"北京","answer score":{"逻辑连贯性":10,"综合得分":10,"满足用户需求":10,"完备性":10,"事实正确性":10}}
#### 语法质量评估
- 适用的数据集类型："文本类-单轮问答"。
- 各参数说明： 待打标内容类型：针对文本进行语法质量的评估，例如相关性、规范性等。需要选择模型。
- 参数配置样例： 
- 打标样例： {"target":"北京","context":"1-2-1中国的首都是哪里?","grammar score":{"回复与问题不相关":0,"事实错误":0,"违反逻辑规则":0,"语言不规范":0,"语句截断":0,"不当的多语混用":0,"无意义的重复":0}}
#### 文本分类标签v2算子
- 适用的数据集类型："文本类-预训练文本、文本类-单轮问答、单轮问答（人设）、问答排序"。
- 各参数说明： 待打标内容类型：针对文本进行内容分类，例如汽车、体育、医疗等类别，支持分析语种包括：中文、英文。
- 参数配置样例： 
- 打标样例： {"text":"作者：王俊力，吴猛，武汉大学中南医院超声科\\n患者女，28岁，发现右乳肿物半年，因6 d前自觉疼痛就诊。3年前曾行剖宫产术。体格检查：无发热，乳腺区皮肤无红肿，无乳头溢液；右侧乳腺外下象限可触及一直径约2 cm的肿块，触痛明显，质韧，右侧腋窝未触及肿大淋巴结。\\n超声检查：右乳外下象限可见一大小约2.1 cm×1.4 cm×1.1 cm的不规则片状低至无回声区，与周边组织分界不清（图1）；CDFI可探及少量血流信号，呈动脉频谱，阻力指数0.64。\\n超声提示：右乳外下象限实质性病灶（BI-RADS 4b类；炎性改变不排除）。MRI检查：T2抑脂序列右乳外下象限见一不规则高信号肿块影（图2），呈明显不均匀强化，时间-信号曲线呈流出型。\\nMRI提示：右侧乳腺外下象限不规则肿块，建议活检。钼靶检查：右乳外下象限乳后间隙及胸肌表面见不规则形稍高密度团块影（BI-RADS 4b类）。患者行右乳肿物切除术+筋膜组织瓣形成术。病理结果：梭形细胞肿瘤（图3），结合形态及免疫组化检查考虑乳腺侵袭性纤维瘤病。\\n讨论\\n乳腺侵袭性纤维瘤是一种乳腺间叶源性肿瘤，在乳腺疾病中的发病率约为0.2%。其病因尚不明确，多与遗传倾向、手术或雌激素等相关；常见于育龄期女性，临床表现无特征性。\\n病理学构成为增生的成纤维细胞、肌成纤维细胞和胶原纤维构成；免疫组化检查主要表现为瘤细胞Vimentin和SAM呈阳性。超声表现为形态不规则、与周边组织分界不清的低回声包块，可呈"毛刺状"或"鹿角状"；肿块常沿长轴分布走行，可累及后方胸壁肌层；内部血流信号较少。\\n目前本病的治疗多以手术为主，患者术后需长期随访，若出现复发，则根据病情需要再次手术或辅以放化疗、激素治疗等。本病需与梭形细胞癌、瘢痕组织等鉴别。","tag":null,"domain_specific_l1":"医药\\/医疗","domain_specific_l2":"肿瘤学","domain_specific_confidence":0.429}
#### 泛理科文本检测算子
- 适用的数据集类型："文本类-预训练文本、文本类-单轮问答、单轮问答（人设）、问答排序"。
- 各参数说明： 待打标内容类型：检测文本所属行业及是否为理科数据，例如金融行业的报表分析、医疗行业的技术研究等。需要选择模型，模型建议使用Pangu-NLP-N1-32K-3.2.36.3。
- 参数配置样例： 
- 打标样例： {"system":"机智幽默","context":"此外，支架组件的未完全贴合可能会进一步加剧与血栓形成和再狭窄相关的风险。\\n英文:Additionally, the incomplete apposition of stent components can further exacerbate risks associated with thrombosis and restenosis.","target":"ccccccc","ori_response":"属于医疗理科\<\|im_end\|\>","industry_category":"医疗","science_classification":"泛理科数据"}
#### Embedding相似性检索
- 适用的数据集类型："文本类"。
- 各参数说明： 语言：数据集预料语言类型。
检索字段名：检索字段即为特征获取字段，计算embedding编码，用于如何挑选相似数据，如果不填默认为text或者context字段。
检索query：用户检索query，支持多个query检索，多个query时为数组类型，例如:\["今天天气怎么样？", "今天星期几？"\]。
相似度阈值：当数据与查询query的相似度小于阈值时会被选中，默认值0.2，取值范围\[0,2.0\]。
最相似的数据条数： 每次检索出的数据条数，最小值为1。
- 参数配置样例： 
- 采样样例： 检索query：为什么电子烟在中国被禁？
加工后：
{"context":"卫健委将电子烟纳入公共场所禁烟范围","target":"监管延伸"}
{"context":"生物学博士李雷：电子烟国标应涵盖尼古丁含量限制","target":"成分标准"}
{"context":"电子烟国标拟禁止水果口味吸引青少年","target":"特殊条款"}
{"context":"专家建议电子烟包装增加健康警示语","target":"消费提示"}
{"context":"电子烟国标制定首次引入消费者代表","target":"民主参与"}
{"context":"电子烟消费者调查：80%支持强制质量认证","target":"民意基础"}
{"context":"研究显示未监管电子烟含重金属超标3倍","target":"安全风险"}
{"context":"研究发现电子烟二手烟仍含致癌物质","target":"公共健康"}
{"context":"电子烟电池安全标准缺失致事故频发","target":"配件风险"}
{"context":"对比研究：中美电子烟监管体系差异","target":"国际比较"}
#### 数据采样算子
- 适用的数据集类型："文本类"。
- 各参数说明： 数据过滤字段：采样前支持按照过滤字段进行数据过滤。
数据过滤字段值：每次仅支持对数据过滤字段的一个指定的值进行过滤。
数据采样字段：按照采样字段的存储大小抽取数据。
数据采样总大小：采样字段抽取的总大小，最小值为0。
采样单位：采样字段抽取大小单位，KB/MB/GB。
- 参数配置样例： "
- 转换样例： 加工前：
数据条数：35685
{"domain_specific_L1":"金融","source_industry":"金融","text":"徽商银行爱心捐助在临泉启动\\n12月9日,徽商银行爱心捐助启动仪式在临泉县残疾人康复医院隆重举行。"}
加工后：
数据条数：9602
{"domain_specific_L1":"金融","source_industry":"金融","text":"徽商银行爱心捐助在临泉启动\\n12月9日,徽商银行爱心捐助启动仪式在临泉县残疾人康复医院隆重举行。"}
#### 数据集拆分
- 适用的数据集类型："文本类"。
- 各参数说明： 拆分方式：数据集的拆分方式，可选择"按比例"和"按数量"两种方式。
动态输入列：动态输入各个子数据集的拆分比例\\拆分数量。
- 参数配置样例：
1. 按比例 
2. 按数量 
- 拆分样例： 拆分前后的数据集如下图所示。
#### 文档切分
- 适用的数据集类型：预训练文本。
- 各参数说明： 文本切片长度范围：单位为字符。根据该参数将长文本切分为指定长度范围内的文本，默认值为800-1200。
- 参数配置样例： 
- 拆分样例
- 加工前： {"fileName":"0002bf70612d2f1e4e1ccb3901848224.epub","text":"爱和死，都是浓缩的结果，寻找则是一种稀释。寻找，就其本质来说，游离于爱和死之外，它所具备的神话逻辑总是使之朝着另一个方向飞去，但有时也会坠落，被引力撕裂，成为徒劳的幻象，成为爱和死的奴隶。\\n我是怎么来到莫镇的呢？\\n已经是千禧年的年尾，我躺在旅馆的床上，确切说是趴着，身体以上是一条被子，被子上压着我的棉风衣，身体以下是床单和一条薄褥子。南方的冬天来得迟，十二月末的天气并不冷，阔叶树上枯黄色的叶子飘落，漫舞着掠过窗户。我保持这个姿势已经很久。\\n莫镇。\\n先是三天前在上海见了一个女孩儿，她是我交往了半年的网友，还在读大学，一起在聊天室里打情骂俏。我们从来没见过面。有一天，她向我借钱，说自己得了一种病，需要动手术，具体什么病也没告诉我。我揣了一千块钱去上海，在中山公园附近的一所大学门口见到了她，说实话，她长得与我想象中相去甚远，比她自己所形容的就更差了，而且很健康，看上去不像有病的样子。我有点犹豫，是不是要把钱借给她。\\n女孩儿带我去大学里喝咖啡，并说："原来你是个Old Man啊。"我有点生气，我才二十六岁，在她眼里已经是个老头儿了。我说："你就不用嫌弃我了吧？"这顿咖啡喝得有点没意思。后来我还是把钱给了她，她给我写了张借条。聊了一会儿，她说去上个厕所，出了咖啡馆，往前面的教学楼走去，她就再也没有回来。留了个鼓鼓囊囊的双肩背包在椅子上，打开一开，里面塞了一团报纸。钱是被她带走了。日他大姐的。\\n我跑到教导处去，拿出借条问老师们："文秘专业有这个人吗？"借条上落款的姓名是"卞宁"。老师查了一下说学校压根没这个人，我把她的相貌又形容了一下，老师觉得我的语言组织能力非常好，但是文秘专业怎么可能有如此难看的女孩儿呢？我很郁闷。后来有个老师说，卞宁，不就是"骗人"的意思吗？我一下子明白过来，谢谢他的智商，然后就走了。\\n我独自在校园里晃悠，这个学校我曾经来过，那是我十八岁的时候。那次是晚上，校园里黑乎乎的什么都看不清，事隔多年之后，我终于得以在明亮的白天浏览其全貌，只可惜我不复有当年的好奇心了。我想起那个女孩儿，不是卞宁，而是我十八岁时候遇到的，她的神情，她说话的声音。我有点头晕，好像把脑袋蒙进了水中，五感顿失，心跳加速，呼喊的声音变成一串气泡往天空中飘去。\\n","original_path":"lzh\\/nlp_data\\/dzs\\/dzs_data\\/0002bf70612d2f1e4e1ccb3901848224.epub"}
- 加工后： {"fileName":"0002bf70612d2f1e4e1ccb3901848224.epub","text":"爱和死，都是浓缩的结果，寻找则是一种稀释。寻找，就其本质来说，游离于爱和死之外，它所具备的神话逻辑总是使之朝着另一个方向飞去，但有时也会坠落，被引力撕裂，成为徒劳的幻象，成为爱和死的奴隶。我是怎么来到莫镇的呢？已经是千禧年的年尾，我躺在旅馆的床上，确切说是趴着，身体以上是一条被子，被子上压着我的棉风衣，身体以下是床单和一条薄褥子。南方的冬天来得迟，十二月末的天气并不冷，阔叶树上枯黄色的叶子飘落，漫舞着掠过窗户。我保持这个姿势已经很久。莫镇。先是三天前在上海见了一个女孩儿，她是我交往了半年的网友，还在读大学，一起在聊天室里打情骂俏。我们从来没见过面。有一天，她向我借钱，说自己得了一种病，需要动手术，具体什么病也没告诉我。我揣了一千块钱去上海，在中山公园附近的一所大学门口见到了她，说实话，她长得与我想象中相去甚远，比她自己所形容的就更差了，而且很健康，看上去不像有病的样子。我有点犹豫，是不是要把钱借给她。女孩儿带我去大学里喝咖啡，并说："原来你是个Old Man啊。"我有点生气，我才二十六岁，在她眼里已经是个老头儿了。我说："你就不用嫌弃我了吧？"这顿咖啡喝得有点没意思。后来我还是把钱给了她，她给我写了张借条。聊了一会儿，她说去上个厕所，出了咖啡馆，往前面的教学楼走去，她就再也没有回来。留了个鼓鼓囊囊的双肩背包在椅子上，打开一开，里面塞了一团报纸。钱是被她带走了。日他大姐的。","file_chunk_seq":1,"original_path":"lzh\\/nlp_data\\/dzs\\/dzs_data\\/0002bf70612d2f1e4e1ccb3901848224.epub"} {"fileName":"0002bf70612d2f1e4e1ccb3901848224.epub","text":"我跑到教导处去，拿出借条问老师们："文秘专业有这个人吗？"借条上落款的姓名是"卞宁"。老师查了一下说学校压根没这个人，我把她的相貌又形容了一下，老师觉得我的语言组织能力非常好，但是文秘专业怎么可能有如此难看的女孩儿呢？我很郁闷。后来有个老师说，卞宁，不就是"骗人"的意思吗？我一下子明白过来，谢谢他的智商，然后就走了。我独自在校园里晃悠，这个学校我曾经来过，那是我十八岁的时候。那次是晚上，校园里黑乎乎的什么都看不清，事隔多年之后，我终于得以在明亮的白天浏览其全貌，只可惜我不复有当年的好奇心了。我想起那个女孩儿，不是卞宁，而是我十八岁时候遇到的，她的神情，她说话的声音。我有点头晕，好像把脑袋蒙进了水中，五感顿失，心跳加速，呼喊的声音变成一串气泡往天空中飘去。","file_chunk_seq":2,"original_path":"lzh\\/nlp_data\\/dzs\\/dzs_data\\/0002bf70612d2f1e4e1ccb3901848224.epub"}