# 智能精炼模板说明
#### 功能简介
智能精炼模板是ModelArts平台沉淀的数据处理最佳实践集合。它将复杂的算子组合按特定业务逻辑预先编排，封装为一键可用的标准化工作流。
它的核心作用在于：
1. 无需从零开始研究算子顺序与参数，直接复用资深算法工程师验证过的成熟方案，确保数据处理流程的专业性与合理性。
2. 用户只需在创建任务时选择匹配业务场景的模板，系统即可自动加载完整的算子链路。您既可以直接运行，也能在此基础上根据数据特性进行微调，将原本小时级的数据准备工作缩短至分钟级。
3. 通过模板化机制，规范团队内部的数据处理标准，避免因个人配置差异导致的数据质量波动，确保输出的训练集始终维持在高水平。
 
#### 预置模板说明
ModelArts平台当前提供以下预置模板，覆盖文本、图片、视频相关数据的处理流程，具体使用流程参见[表1]。
 表1预置模板清单 
| 模板名称          | 支持数据集模态 | 支持数据集类型 | 模板使用场景                                                         | 涉及算子        |
|:---|:---|:---|:---|:---|
| 文本生成SFT处理流程   | 文本      | 文本生成SFT | 使用预置算子，对文本生成SFT数据进行处理，生成清洗后的微调数据。                              | 个人数据脱敏      |
| 文本生成SFT处理流程   | 文本      | 文本生成SFT | 使用预置算子，对文本生成SFT数据进行处理，生成清洗后的微调数据。                              | 中文简繁互转      |
| 文本生成SFT处理流程   | 文本      | 文本生成SFT | 使用预置算子，对文本生成SFT数据进行处理，生成清洗后的微调数据。                              | 符号标准化       |
| 文本生成SFT处理流程   | 文本      | 文本生成SFT | 使用预置算子，对文本生成SFT数据进行处理，生成清洗后的微调数据。                              | 敏感词过滤       |
| 文本生成SFT处理流程   | 文本      | 文本生成SFT | 使用预置算子，对文本生成SFT数据进行处理，生成清洗后的微调数据。                              | 段落结尾不完整句子过滤 |
| 文本生成SFT处理流程   | 文本      | 文本生成SFT | 使用预置算子，对文本生成SFT数据进行处理，生成清洗后的微调数据。                              | N-gram特征过滤  |
| 文本生成SFT处理流程   | 文本      | 文本生成SFT | 使用预置算子，对文本生成SFT数据进行处理，生成清洗后的微调数据。                              | 文本长度过滤      |
| WORD处理流程      | 文本      | 基础文本    | 使用预置算子，对word文件进行提取和处理，生成预训练文本数据。                               | WORD内容提取    |
| WORD处理流程      | 文本      | 基础文本    | 使用预置算子，对word文件进行提取和处理，生成预训练文本数据。                               | 个人数据脱敏      |
| WORD处理流程      | 文本      | 基础文本    | 使用预置算子，对word文件进行提取和处理，生成预训练文本数据。                               | 中文简繁互转      |
| WORD处理流程      | 文本      | 基础文本    | 使用预置算子，对word文件进行提取和处理，生成预训练文本数据。                               | 符号标准化       |
| WORD处理流程      | 文本      | 基础文本    | 使用预置算子，对word文件进行提取和处理，生成预训练文本数据。                               | 敏感词过滤       |
| WORD处理流程      | 文本      | 基础文本    | 使用预置算子，对word文件进行提取和处理，生成预训练文本数据。                               | 段落结尾不完整句子过滤 |
| WORD处理流程      | 文本      | 基础文本    | 使用预置算子，对word文件进行提取和处理，生成预训练文本数据。                               | N-gram特征过滤  |
| WORD处理流程      | 文本      | 基础文本    | 使用预置算子，对word文件进行提取和处理，生成预训练文本数据。                               | 文本长度过滤      |
| WORD处理流程      | 文本      | 基础文本    | 使用预置算子，对word文件进行提取和处理，生成预训练文本数据。                               | 预训练文本分类     |
| PDF处理流程       | 文本      | 基础文本    | 使用预置算子，对PDF文件进行提取和处理，生成预训练文本数据。                                | PDF内容提取     |
| PDF处理流程       | 文本      | 基础文本    | 使用预置算子，对PDF文件进行提取和处理，生成预训练文本数据。                                | 个人数据脱敏      |
| PDF处理流程       | 文本      | 基础文本    | 使用预置算子，对PDF文件进行提取和处理，生成预训练文本数据。                                | 中文简繁互转      |
| PDF处理流程       | 文本      | 基础文本    | 使用预置算子，对PDF文件进行提取和处理，生成预训练文本数据。                                | 符号标准化       |
| PDF处理流程       | 文本      | 基础文本    | 使用预置算子，对PDF文件进行提取和处理，生成预训练文本数据。                                | 敏感词过滤       |
| PDF处理流程       | 文本      | 基础文本    | 使用预置算子，对PDF文件进行提取和处理，生成预训练文本数据。                                | 段落结尾不完整句子过滤 |
| PDF处理流程       | 文本      | 基础文本    | 使用预置算子，对PDF文件进行提取和处理，生成预训练文本数据。                                | N-gram特征过滤  |
| PDF处理流程       | 文本      | 基础文本    | 使用预置算子，对PDF文件进行提取和处理，生成预训练文本数据。                                | 文本长度过滤      |
| PDF处理流程       | 文本      | 基础文本    | 使用预置算子，对PDF文件进行提取和处理，生成预训练文本数据。                                | 预训练文本分类     |
| 使用PDF文档构造微调数据 | 文本      | 基础文本    | 智能解析PDF文档内容，通过文本清洗、去重、质量过滤等处理，得到合适的数据并生成微调数据，为后续的LLM训练提供高质量样本。 | PDF内容提取     |
| 使用PDF文档构造微调数据 | 文本      | 基础文本    | 智能解析PDF文档内容，通过文本清洗、去重、质量过滤等处理，得到合适的数据并生成微调数据，为后续的LLM训练提供高质量样本。 | 个人数据脱敏      |
| 使用PDF文档构造微调数据 | 文本      | 基础文本    | 智能解析PDF文档内容，通过文本清洗、去重、质量过滤等处理，得到合适的数据并生成微调数据，为后续的LLM训练提供高质量样本。 | 中文简繁互转      |
| 使用PDF文档构造微调数据 | 文本      | 基础文本    | 智能解析PDF文档内容，通过文本清洗、去重、质量过滤等处理，得到合适的数据并生成微调数据，为后续的LLM训练提供高质量样本。 | 符号标准化       |
| 使用PDF文档构造微调数据 | 文本      | 基础文本    | 智能解析PDF文档内容，通过文本清洗、去重、质量过滤等处理，得到合适的数据并生成微调数据，为后续的LLM训练提供高质量样本。 | 段落结尾不完整句子过滤 |
| 使用PDF文档构造微调数据 | 文本      | 基础文本    | 智能解析PDF文档内容，通过文本清洗、去重、质量过滤等处理，得到合适的数据并生成微调数据，为后续的LLM训练提供高质量样本。 | 文本长度过滤      |
| 使用PDF文档构造微调数据 | 文本      | 基础文本    | 智能解析PDF文档内容，通过文本清洗、去重、质量过滤等处理，得到合适的数据并生成微调数据，为后续的LLM训练提供高质量样本。 | 数据生成        |
| 预训练文本处理流程     | 文本      | 预训练文本   | 使用预置算子，对预训练文本进行处理，生成清洗后的预训练文本数据。                               | 中文简繁互转      |
| 预训练文本处理流程     | 文本      | 预训练文本   | 使用预置算子，对预训练文本进行处理，生成清洗后的预训练文本数据。                               | 符号标准化       |
| 预训练文本处理流程     | 文本      | 预训练文本   | 使用预置算子，对预训练文本进行处理，生成清洗后的预训练文本数据。                               | N-gram特征过滤  |
| 预训练文本处理流程     | 文本      | 预训练文本   | 使用预置算子，对预训练文本进行处理，生成清洗后的预训练文本数据。                               | 文本长度过滤      |
| 预训练文本处理流程     | 文本      | 预训练文本   | 使用预置算子，对预训练文本进行处理，生成清洗后的预训练文本数据。                               | 预训练文本分类     |
| 图片处理流程        | 图片      | 基础图片    | 使用预置算子，对图片进行提取、去重、打标和过滤，以及生成摘要，生成处理后的图文数据。                     | 图文提取        |
| 图片处理流程        | 图片      | 基础图片    | 使用预置算子，对图片进行提取、去重、打标和过滤，以及生成摘要，生成处理后的图文数据。                     | 图片元数据过滤     |
| 图片处理流程        | 图片      | 基础图片    | 使用预置算子，对图片进行提取、去重、打标和过滤，以及生成摘要，生成处理后的图文数据。                     | 图片去重        |
| 图片处理流程        | 图片      | 基础图片    | 使用预置算子，对图片进行提取、去重、打标和过滤，以及生成摘要，生成处理后的图文数据。                     | 危情图像检测      |
| 图片处理流程        | 图片      | 基础图片    | 使用预置算子，对图片进行提取、去重、打标和过滤，以及生成摘要，生成处理后的图文数据。                     | 色情图像检测      |
| 图片处理流程        | 图片      | 基础图片    | 使用预置算子，对图片进行提取、去重、打标和过滤，以及生成摘要，生成处理后的图文数据。                     | 暴恐图像检测      |
| 视频处理流程        | 视频      | 基础视频    | 使用预置算子，对视频进行镜头拆分、去重、打标和过滤，生成处理后的视频数据。                          | 镜头拆分        |
| 视频处理流程        | 视频      | 基础视频    | 使用预置算子，对视频进行镜头拆分、去重、打标和过滤，生成处理后的视频数据。                          | 视频元数据过滤     |
| 视频处理流程        | 视频      | 基础视频    | 使用预置算子，对视频进行镜头拆分、去重、打标和过滤，生成处理后的视频数据。                          | 视频宽高比过滤     |
| 视频处理流程        | 视频      | 基础视频    | 使用预置算子，对视频进行镜头拆分、去重、打标和过滤，生成处理后的视频数据。                          | 色情视频检测      |
| 视频处理流程        | 视频      | 基础视频    | 使用预置算子，对视频进行镜头拆分、去重、打标和过滤，生成处理后的视频数据。                          | 暴恐视频检测      |
| 视频处理流程        | 视频      | 基础视频    | 使用预置算子，对视频进行镜头拆分、去重、打标和过滤，生成处理后的视频数据。                          | 视频涉政检测      |
| 视频处理流程        | 视频      | 基础视频    | 使用预置算子，对视频进行镜头拆分、去重、打标和过滤，生成处理后的视频数据。                          | 运动幅度评分      |
| 视频处理流程        | 视频      | 基础视频    | 使用预置算子，对视频进行镜头拆分、去重、打标和过滤，生成处理后的视频数据。                          | 美学评分        |
| 单轮问答处理流程      | 文本      | 单轮问答    | 使用预置算子，对单轮问答数据进行处理，生成清洗后的单轮问答数据。                               | 个人数据脱敏      |
| 单轮问答处理流程      | 文本      | 单轮问答    | 使用预置算子，对单轮问答数据进行处理，生成清洗后的单轮问答数据。                               | 中文简繁互转      |
| 单轮问答处理流程      | 文本      | 单轮问答    | 使用预置算子，对单轮问答数据进行处理，生成清洗后的单轮问答数据。                               | 符号标准化       |
| 单轮问答处理流程      | 文本      | 单轮问答    | 使用预置算子，对单轮问答数据进行处理，生成清洗后的单轮问答数据。                               | 敏感词过滤       |
| 单轮问答处理流程      | 文本      | 单轮问答    | 使用预置算子，对单轮问答数据进行处理，生成清洗后的单轮问答数据。                               | 段落结尾不完整句子过滤 |
| 单轮问答处理流程      | 文本      | 单轮问答    | 使用预置算子，对单轮问答数据进行处理，生成清洗后的单轮问答数据。                               | N-gram特征过滤  |
| 单轮问答处理流程      | 文本      | 单轮问答    | 使用预置算子，对单轮问答数据进行处理，生成清洗后的单轮问答数据。                               | 文本长度过滤      |