更新时间:2026-10-08 GMT+08:00
强化学习GRPO/DAPO
该类型专门面向大语言模型的强化学习阶段(如GRPO、DAPO等偏好对齐算法)。数据集以提示词(prompt)与奖励/评测标准(reward model)为核心,通过提供明确的正确答案(ground truth)或评测规则,驱动模型在策略迭代中实现自主对齐与推理能力的跃升。
数据格式示例
为便于展示字段层级关系,已将单行JSONL数据展开。
{
"prompt": [
{
"role": "user",
"content": "娜塔莉亚在四月份向她的48个朋友卖了回形针,五月份卖的数量只有四月份的一半。请问娜塔莉亚在四月份和五月份总共卖了多少个回形针?请逐步思考,并在“####”后面输出最终答案。"
}
],
"reward_model": {
"ground_truth": "72"
}
} 字段规范说明
对于JSONL文件中的每一条(每行)数据:
| 字段 | 类型 | 是否必填 | 说明 |
|---|---|---|---|
| prompt | List | 是 | 提示词有序列表,用于承载模型输入的上下文或初始问题。
|
| reward_model | Dict | 否 | 奖励模型/评测规则配置字典,必须包含"ground_truth"键。 |
父主题: 文本类数据集格式要求