手动创建数据集

手动创建数据集

在缺乏真实数据或需要针对特定弱点进行优化时，手动创建数据集是必不可少的手段。除了传统的手动创建数据集之外，平台也支持基于“种子数据集”进行数据合成。数据合成功能相关介绍请参考AI合成评测集，本章节主要介绍手动创建数据集的方法。

1. 登录AgentArts智能体平台。
2. 在左侧导航栏中选择“观测与优化 > 评估”，进入“评测集”页签。单击“创建评测集”。
   图1 创建评测集
   

3. 填写评测集名称和描述，配置列使用默认设置，不改动。填写完成后，单击“确定”创建评测集。
   图2 创建模型优化数据集
   

4. 数据集创建成功后，会自动跳转至添加数据页面，单击“添加数据 > 手动添加”。
   图3 添加数据
   
   添加多个数据时请使用左侧的“添加数据项”功能，每单击一次即新增一条独立的单轮问答数据。请勿使用页面下方的"添加对话"功能，该功能用于多轮对话场景，不适用模型优化任务（优化需要使用单轮对话数据，每条数据的input和reference_output为一一对应关系）。

   图4 数据集构造样例
   

5. 数据集构造完成后，单击“确定”，返回数据集详情页面，单击“提交版本”发布该数据集。

   提交版本成功后，数据集状态将变为“已提交”，此时该数据集才可被训练任务引用。

   图5 提交版本
   

批量导入数据集

除手动添加数据集外，支持批量添加，在平台页面中可以获取批量导入模板。

• 批量导入的数据需包装在turns数组中。虽然模型优化使用单轮数据集，但平台的数据集功能同时支持评估场景的多轮对话，因此批量导入格式统一使用turns数组。对于单轮数据，每个turns数组中只需包含一个对象即可。
• 平台支持Excel（.xlsx）和JSONL（.jsonl）两种导入格式。Excel格式适合非技术人员编辑，JSONL格式适合程序化批量生成。

模板格式：

{"turns":[{"input":"用户输入","reference_output":"期望输出"}]}

数据示例：

{"turns":[{"input":"我家的宽带突然断了，上不了网，光猫一直闪红灯","reference_output":"故障报修"}]}
{"turns":[{"input":"路由器绿灯一直闪，但是连不上WiFi，是怎么回事？","reference_output":"故障报修"}]}
{"turns":[{"input":"我想咨询一下套餐价格","reference_output":"业务咨询"}]}

导入成功后，数据集详情页将显示已导入的数据条数。请检查数据条数是否与预期一致，并抽查几条数据确认格式正确。

图6 获取批量导入模板

图7 excel导入模板

图8 jsonl导入模板