加工文本类数据集

加工文本类数据集任务前，请先完成数据导入操作，具体步骤请参见导入数据至盘古平台。

创建文本类数据集加工任务步骤如下：

1. 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。
   图1 我的空间
   
2. 在左侧导航栏中选择“数据工程 > 数据加工 > 加工任务”，单击界面右上角“创建加工任务”。
3. 在“创建加工任务”页面，选择需要加工的文本类数据集，单击“下一步”。
4. 进入“加工步骤编排”页面。对于文本类数据集，可选择的加工算子请参见文本类加工算子介绍。
   1. 在左侧“添加算子”分页勾选所需算子。
   2. 在右侧“加工步骤编排”页面配置各算子参数，可拖动右侧“”以调整算子执行顺序。
      图2 算子编排
      
      

      如果算子参数涉及大模型选择，需要在ModelArtsStudio中购买模型并部署。

   3. 在编排过程中，可单击右上角“保存为新模板”将当前编排流程保存为模板。后续创建新的数据加工任务时，可直接单击“选择加工模板”进行使用。

      若选择使用加工模板，将删除当前已编排的加工步骤。

      图3 选择加工模板
      
5. 加工步骤编排完成后，单击“下一步”进入“任务配置界面”。
   • 自动生成加工数据集

     勾选，配置生成加工数据集的信息，如图4；单击右下角“确定”，平台将启动加工任务。加工任务运行成功后自动生成加工数据集。

     不勾选，单击右下角“确定”，平台将启动加工任务。加工任务运行成功后需要手动生成加工数据集。

     图4 自动生成加工数据集
     
   • 扩展信息（可选）
     可选择行业、语言信息，或自定义数据集属性。

     图5 扩展信息
     
6. 单击“启动加工”。当数据加工任务运行成功后，状态将从“运行中”变为“运行成功”，表示数据已经完成加工。
   

   • 加工后的数据集可在“数据工程 > 数据管理 > 数据集 > 加工数据集”中查看。