# 数据精炼入门：一键完成数据精炼
#### 场景介绍
为了降低用户的使用门槛并增强用户体验，ModelArts控制台推出了一键数据精炼案例。本文档帮助您快速上手华为ModelArts一键精炼功能，使用ModelArts一键精炼的"单轮问答处理流程"模板，自动剔除脏数据、去重并标准化格式，生成**高纯净度的问答数据集**，直接用于大语言模型微调训练。
如需对数据精炼有更深入的了解，请参考[数据精炼](https://support.huaweicloud.com/dataprepare-modelarts/dataprepare-modelarts-0018.html)。
#### 前提条件
- 已完成华为云账号注册、实名认证及相关权限授权。具体操作，请参见[一、前置准备：账号与权限](https://support.huaweicloud.com/qs-modelarts/modelarts_06_0006.html#ZH-CN_TOPIC_0000002516691958__section958014111783)。
- 已创建OBS桶及文件夹（用于存储精炼任务生成的数据集）。具体操作，请参见[通过控制台快速使用OBS](https://support.huaweicloud.com/qs-obs/obs_qs_0001.html)。
  暂不支持跨区域 (Region) 的OBS桶。如有敏感数据，请先加密再存放。
  
 
#### 约束限制
仅新版控制台支持一键数据精炼。
#### 计费说明
按CPU算子实际执行时长或用量计费。计费详情，请参见[数据管理计费项](https://support.huaweicloud.com/price-modelarts/price-modelarts-0009.html)。
#### 操作步骤
1. 登录[ModelArts管理控制台](https://console.huaweicloud.com/modelarts/)。
2. 在左侧导航栏中，选择"快速入门"，在"精选"区域中选择"文本生成SFT数据智能精炼"，单击卡片中的"一键精炼"。
3. 在"创建精炼任务"面板，配置相关信息。 
   表1创建精炼任务参数说明 
   | 参数            | 说明                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        | 示例值                         |
   |:---|:---|:---|
   | 任务名称          | 精炼任务的名称。 系统会自动生成一个名称，可以根据业务需求重新命名，命名规则如下： - 支持2\~64位字符。  - 以中文、字母**开头** ，以中文、字母、数字**结尾**。只允许输入中文、字母、数字、中划线（-）或下划线（_）。                                                                                                                                                     | data-refine-20260706102429  |
   | 模板名称          | 创建精炼任务使用的精炼模板。您可以单击模板卡片，查看模板详情。 如需对精炼模板有更深入了解，请参考[管理数据精炼模板](https://support.huaweicloud.com/dataprepare-modelarts/dataprepare-modelarts-0029.html)。                                                                                                                                                                                                                                                                                                                                                                                                                        | 文本生成SFT处理流程                 |
   | 选择数据集         | 创建一键精炼任务使用的原始数据集。单击![](https://support.huaweicloud.com/qs-modelarts/figure/zh-cn_image_0000002717790869.png)图标，在"我的数据"页签选择目标数据集。 关于如何上传我的数据集，请参见[创建数据连接](https://support.huaweicloud.com/dataprepare-modelarts/dataprepare-modelarts-0015.html)。创建数据连接时，数据集类型选择"文本生成SFT"，文件格式选择"标准格式"。 图1创建数据连接 ![](https://support.huaweicloud.com/qs-modelarts/figure/zh-cn_image_0000002719497377.png "点击放大")                                                                                                                  | 我的数据集：dataset               |
   | 生成数据集名称       | 生成数据集名称。系统会自动生成一个名称，可以根据业务需求重新命名，命名规则如下： - 支持2\~63位字符。  - 以中文、字母**开头** ，以中文、字母、数字**结尾**。只允许输入中文、字母、数字、中划线（-）或下划线（_）。                                                                                                                                                                                                         | pub_20260706_24307          |
   | 存储地址          | 一键精炼任务生成数据集的OBS存储地址。您可以直接输入OBS存储路径或单击![](https://support.huaweicloud.com/qs-modelarts/figure/zh-cn_image_0000002550722146.png)图标选择存储地址。存储地址必须以"obs://"或者"/"开头，以"/"结尾，且除前缀外不得出现"//"，例如obs://bucketname/path/或者/bucketname/path/。 - 不支持选择跨区域（Region）的OBS桶。如果您的OBS桶中有需要特别保护的敏感数据，请自行对数据加密后再存放到OBS桶。  - 只能选择对象存储服务（OBS）桶下的文件夹。   | obs://obstest0528/test/     |
   | 资源配置          | 本案例仅支持使用公共资源池。关于资源池的介绍，请参见[公共资源池和专属资源池的区别是什么](https://support.huaweicloud.com/modelarts_faq/modelarts_05_3131.html)。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      | 公共资源池                       |
   | 执行CPU算子实例参考规格 | 推荐使用CPU (4 vCPUs) \| 内存 (16 GB) 或更高配置。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    | CPU (4 vCPUs) \| 内存 (16 GB) |
      
   
   
4. 确认配置和费用后，单击"确定"。跳转进入"数据精炼"页面。 
   数据精炼作业一般需要运行一段时间。单击任务名称，可以查看任务的基本信息、运行详情、精炼结果和操作记录。更多信息，请参见[管理智能精炼任务](https://support.huaweicloud.com/dataprepare-modelarts/dataprepare-modelarts-0028.html)。
   - 当数据精炼作业的"最近运行状态"变为"数据集生成成功"时，表示数据精炼作业运行结束，其生成的数据将存储至"资产管理 \> 数据 \> 我的数据"页面中。
   
   - 当数据精炼作业的状态变为"运行失败"或"异常"时，可以单击数据精炼作业的名称进入详情页面，通过查看运行详情、精炼结果、操作记录和资源占用等信息，进行问题定位。
   
   
   
   
5. 一键数据精炼成功后，在左侧导航栏选择"资产管理 \> 数据"，单击"我的数据"页签，在数据集的操作列，单击"上线"。在"上线数据集"对话框，单击"确定"。 
   数据集上线后可以直接用于模型后续开发，例如[模型训练](https://support.huaweicloud.com/develop-modelarts/develop-modelarts-0001.html)、[模型评测](https://support.huaweicloud.com/model-evaluation-modelarts/model-evaluation-modelarts-0003.html)等。