数据精炼使用场景
数据精炼是面向大模型训练的“清洗+合成”一体化数据准备方案。如果您的数据处于“原始粗糙”或“样本匮乏”状态——无论是需要去除HTML标签与乱码的预训练语料清洗，还是需要对少量种子数据进行扩充与润色的SFT指令微调增强，亦或是涉及隐私信息的安全合规脱敏——数据精炼均能通过丰富的数据处理算子编排为一条流水线，将原始数据转化为高质量、高多样性且安全合规的训练数据集。
数据精炼虽然具备强大的数据处理能力和灵活的算子编排方式，但正因为如此，也会让您上手存在一些困难。本文总结了数据精炼的一些常用场景，让您轻松完成数据精炼任务，快速获取高质量的数据，模型开发快人一步。
典型使用场景
根据业务需求不同，数据精炼主要应用于以下几种典型场景，每种场景都配备了推荐的算子组合。您可以根据自己的需求选择不同场景。
- 数据质量差，需要清洗，请选择场景一：原始语料清洗与质量提升。
- 数据量不足，需要扩充，请选择场景二：训练数据扩充与增强。
- 准备SFT微调数据 ，请选择场景三：指令微调数据准备。
- 处理图像/视频数据，请选择场景四：多模态数据统一处理。
- 数据合规性要求，请选择场景五：数据合规与安全处理。
场景一：原始语料清洗与质量提升
场景描述
企业从互联网爬取、内部系统导出或第三方采购的原始数据，通常存在大量噪声，需要系统性清洗以满足模型训练要求。常见语料问题见表1。
数据问题 | 表现形式 | 对模型的影响 |
|---|---|---|
数据中存在重复信息。 | 数据中存在大量相同或相似内容。 | 导致训练的模型过拟合。 |
数据中存在乱码噪声。 | 数据中存在编码错误、异常字符。 | 污染模型语义理解。 |
数据中有敏感违规信息。 | 数据中存在涉政/涉黄/暴力内容。 | 模型输出合规风险。 |
数据质量低下。 | 语句不通、逻辑混乱，句子不完整。 | 降低模型生成质量。 |
数据长度不满足要求。 | 数据过短无意义或过长冗余。 | 训练效率低下。 |
数据大杂烩，未分类 | 各领域的数据杂糅，没有按领域分类。 | 需要专门对领域数据分类，影响训练效率。 |
推荐算子编排顺序
原始语料 → [符号标准化] → [去重算子] → [敏感词过滤] → [文本长度过滤] → [段落结尾不完整句子移除] → [色情文本检测] → [涉政文本检测]→ [辱骂文本检测算子] → [预训练文本分类] → 清洗后数据
预期效果
- 数据重复率降低90%以上。
- 低质量样本有效去除。
- 敏感违规内容100%过滤。
- 输出数据可直接用于训练或进入下一步合成环节。
- 输出数据能够按照不同领域分类。
场景二：训练数据扩充与增强
高质量标注数据获取成本高，现有数据量不足以训练出效果良好的模型。
适用情况
- 垂直领域数据稀缺。
- 标注成本过高。
- 需要快速扩充数据规模。
- 数据多样性不足。
推荐算子编排顺序
原始数据 → 数据清洗 → 数据生成 → 扩充后数据
算子 | 作用 | 配置建议 |
|---|---|---|
数据清洗 | 确保种子数据质量 | 严格筛选标准 |
数据生成 | 生成多样化表达 | 选择合适的改写策略，生成多样化数据。 |
预期效果
- 数据规模扩充3-10倍。
- 保持语义一致性。
- 提升表达多样性。
注意事项
- 合成算子需放在工作流末端。
- 仅支持同模态数据合成。
场景三：指令微调数据准备
准备用于大模型指令微调（SFT）的高质量数据集。
适用情况
- 通用助手模型微调。
- 垂直领域模型定制。
- 对话能力优化。
- 任务型模型训练。
推荐算子编排流程
原始指令数据 → 数据清洗 → 文本生成（可选） → 生成数据集
编排完成后，在数据精炼任务生成数据集配置勾选格式转换，生成最终微调数据集。
输入格式 | 处理方式 | 输出格式 |
|---|---|---|
非结构化文本 | 格式转换算子 | Alpaca/ShareGPT |
已有Alpaca | 质量筛选+改写 | 优化后Alpaca |
已有ShareGPT | 质量筛选+改写 | 优化后ShareGPT |
质量控制要点
- 指令明确性检查
- 回答准确性验证
- 格式一致性确保
