更新时间:2026-10-08 GMT+08:00
分享

强化学习GRPO/DAPO

该类型专门面向大语言模型的强化学习阶段(如GRPO、DAPO等偏好对齐算法)。数据集以提示词(prompt)与奖励/评测标准(reward model)为核心,通过提供明确的正确答案(ground truth)或评测规则,驱动模型在策略迭代中实现自主对齐与推理能力的跃升。

数据格式示例

为便于展示字段层级关系,已将单行JSONL数据展开。

{
  "prompt": [
    {
      "role": "user",
      "content": "娜塔莉亚在四月份向她的48个朋友卖了回形针,五月份卖的数量只有四月份的一半。请问娜塔莉亚在四月份和五月份总共卖了多少个回形针?请逐步思考,并在“####”后面输出最终答案。"
    }
  ],
  "reward_model": {
    "ground_truth": "72"
  }
}

字段规范说明

对于JSONL文件中的每一条(每行)数据:

表1 字段说明

字段

类型

是否必填

说明

prompt

List

是

提示词有序列表,用于承载模型输入的上下文或初始问题。

  • 内嵌元素:列表内的每个元素必须为一个字典对象。包含"role"和"content","role"取值支持"system"和"user","content"取值类型为String
  • 边界规则:列表中最后一个元素的"role"必须为"user"。

reward_model

Dict

否

奖励模型/评测规则配置字典,必须包含"ground_truth"键。

相关文档