创建智能精炼
使用场景
智能精炼是面向大模型训练的“清洗+合成”一体化数据准备方案。如果您的数据处于“原始粗糙”或“样本匮乏”状态——无论是需要去除HTML标签与乱码的预训练语料清洗，还是需要对少量种子数据进行扩充与润色的SFT指令微调增强，亦或是涉及隐私信息的安全合规脱敏——智能精炼均能通过丰富的数据处理算子编排为一条流水线，将原始数据转化为高质量、高多样性且安全合规的训练数据集。
前提条件
- 在使用ModelArts前，需完成华为云账号注册、实名认证及相关权限授权。具体操作，请参见一、前置准备：账号与权限。
- 已申请到智能精炼过程要使用到的计算资源。
- 如果您需要使用自定义的数据集，请参考数据连接将数据集导入到ModelArts平台。
计费说明
按照使用的计算资源和存储资源计费。计费详情，请参见数据管理计费项。
约束限制
- 合成算子位置限制：合成算子必须且只能放置在工作流的最后一个节点。不支持插入到加工算子中间，也不支持后接其他过滤算子。
- 模态限制：
- 仅支持同模态合成（如文本输入->文本输出）。
- 不支持跨模态生成（如输入文本生成问答对、输出文本生成图像等）。
- 功能限制：
- 不支持自定义合成指令（Prompt），不支持模板功能。
- 不支持合成任务的在线调测。
- 合成算子输出字段固定，但会自动保留输入数据集中的原始字段。
- 数据量与质检：
- 不支持用户自定义合成数据的输出条数（系统根据输入自动处理）。
- 不支持对合成结果进行自动质检过滤。
- 合成结果将输出到新数据集，不支持自动与原始数据集合并。
创建智能精炼
- 登录ModelArts管理控制台，在左侧导航栏选择“数据准备 > 数据精炼”。
- 在“智能精炼”页面右上方单击“创建智能精炼”，配置相关信息，单击“下一步”。
表1 创建智能精炼参数说明 参数
说明
示例值
基本信息
名称
默认为data-refine-年月日时分秒，您也可以自定义名称，支持大小写英文字母、数字、中划线、下划线及中文，长度限制为1~128位。
data-refine-20260423102952
描述
自定义智能精炼任务的描述。最大支持512个字符。
-
选择数据集
数据集可以选择ModelArts预置数据，也可以选择我的数据。当前支持输入数据集模态为文本、图片、视频类。
选择我的数据，需自行上传数据集。具体操作，请参见创建数据连接。
预置数据 code-alpaca
精炼模板
ModelArts预置了常用智能精炼模板，精炼模板根据使用场景将常用的业务处理算子及各算子的参数配置完毕，您可以直接使用。
如果您的使用场景不是精炼模板包含的业务，可不选择精炼模板，直接单击“下一步”。
文本生成SFT处理流程
- 精炼模板已预置了算子和编排步骤，您也可以按需修改，单击“保存并下一步”
在页面左侧的“添加算子”区域，单击
图标可以添加算子，算子名称后带有
图标的为自定义算子。添加的算子会出现在右侧“步骤编排”区域，您可以在此修改参数，单击
图标可收起所有算子卡片，单击
图标可展开所有算子卡片。在算子卡片右上角，可进行复制和删除操作，还可以单击
/
/
图标调整位置，或单击
/
图标展开或收起该算子卡片。图1 添加算子
数据编排是智能精炼最重要也最为复杂的处理过程，有很多需要注意的场景和约束。特别是针对部分文本类（文本生成SFT）数据，开始节点和结束节点不仅负责处理数据的输入输出，还兼具数据格式转换功能。
关于算子的使用场景，请参考使用场景；关于预置算子的详细说明，请参考系统预置算子说明；关于如何开发和创建自定义算子，请参考开发自定义算子和创建自定义算子。
- 配置生成数据集和资源信息，单击“启动”。
表2 参数说明 参数
说明
示例值
生成数据集
数据集名称
自定义数据集的名称。支持大小写英文字母、数字、中划线、下划线及中文，长度限制为1~128位。
dataset
存储地址
支持选择“对象存储 OBS - 对象桶”或者“对象存储 OBS - 并行文件系统”。您可以单击
图标选择OBS存储地址或者手动输入存储地址。存储地址必须以“obs://”或者“/”开头，以“/”结尾，且除前缀外不得出现“//”，例如obs://bucketname/path/或者/bucketname/path/。其他人的共享桶路径仅支持手动输入。obs://bucketname/path/
数据集属性
按需配置数据集的属性，您可以按照行业、语言维度配置标签，也可以自定义标签。
-
描述
自定义数据集的描述，最大支持512个字符。
-
数据集状态
已上线的数据集才可被下游模型开发与训练作业任务调用。
- 打开“立即上线数据集”，生成数据集在“资产管理 > 数据 >我的数据”页面为“已上线”状态，可以被下游模型训练等作业直接使用。
- 关闭“立即上线数据集”，生成数据集在“资产管理 > 数据 >我的数据”页面为“未上线”状态，不可被下游模型训练等作业直接使用，需要手动上线数据集后才能使用。
打开“立即上线数据集”
资源配置
资源池类型
按需选择公共资源池或专属资源池。
- 公共资源池：无需单独购买，即开即用，按需付费。
- 专属资源池：不与其他用户共享，资源更可控。在“资源池”区域，单击“选择资源池”，在“选择专属资源池”面板按实际情况选择专属资源池，单击“确定”。
公共资源池
执行 NPU 算子实例参考规格
数据算子在处理数据时，需要用到NPU计算资源。
NPU (1卡) | (24 vCPUs) | 内存 (192 GB)
执行 CPU 算子实例参考规格
数据算子在处理数据时，需要用到CPU计算资源。
-
当智能精炼作业的“最近运行状态”变为“数据集生成成功”时，表示智能精炼作业运行结束，其生成的数据将存储至“资产 > 数据 > 我的数据”中。
最佳实践：算子编排设计原则
原则1：先清洗，后处理。
建议顺序：去重 → 格式化 → 过滤 → 增强 → 合成
原则2：减少数据在前，扩充数据在后。先用过滤算子减少数据量，再用合成算子扩充，可提升整体处理效率。
原则3：合成放末端，合成算子只能作为最后一个处理步骤。
原则4：保持模态一致，整个工作流处理同一类型数据，不跨模态。
推荐算子编排模板
模板一：基础数据清洗
输入 → 格式校验 → 去重 → 长度过滤 → 输出
模板二：数据清洗+质量提升
输入 → 格式校验 → 去重 → 敏感词过滤 → 质量评分筛选 → 输出
模板三：数据清洗+合成扩充
输入 → 去重 → 敏感词过滤 → 质量筛选 → 问答改写合成 → 输出
模板四：全流程精炼
输入 → 格式转换 → 去重 → 敏感词过滤 → 质量评分 → 长度筛选 → 改写合成 → 输出
