文档首页/ 智果（AgentArts）智能体平台/ 观测与优化智能体/ 智能体优化/ 模型优化/ 模型优化的原理
更新时间：2026-11-02 GMT+08:00
查看PDF
分享

模型优化的原理

用好智能体的优化功能，不需要熟练掌握复杂的算法原理，但了解优化背后的运行逻辑，能极大地帮助您设计出高质量的训练任务。

强化学习简介

模型优化的底层技术是强化学习（Reinforcement Learning, RL）。强化学习本质上是一种“通过在环境中试错来学习”的机制。

可借助一个典型的工程案例进行理解--教导一辆汽车（车载计算机智能体）如何自动泊车：

  • 智能体：车载计算机。
  • 环境：停车场、车辆动态特性、雷达和摄像头的传感器读数。
  • 动作：打方向盘、踩刹车、加速等。
  • 奖励：如果车辆准确停入车位中，系统给出一个高分奖励；如果压线或者撞到障碍物，给出一个负分惩罚。

在训练初期，车载计算机会像新手司机一样，尝试各种随机的操作（有时甚至撞上周边物体）。但通过成千上万次的“尝试-反馈-修正”，它会逐渐掌握规律：当看到边距变窄（观测值）时，打方向盘（动作）能获得更好的停车效果（奖励）。最终，学会了精准泊车。

模型优化的本质与此完全一致，只不过的“车”变成了大语言模型，“停车场”变成了您的Agent业务场景。

  • 智能体：被训练的模型。
  • 环境：您在AgentArts中创建好的Agent运行环境（包括预设Prompt、知识库、插件、MCP等）。
  • 动作：Agent生成的回复文本、推理过程、工具选择、工具参数填写，以及在单次任务中发起的多步工具调用过程等。
  • 奖励：GRPO算法中，系统通过对比模型输出与您的标准答案，利用“奖励规则（正则/数值）”或“生成式裁判打分”给出分数。OPD算法中，由大尺寸Teacher模型对同一问题生成参考回答，作为小模型的学习目标，无需用户定义奖励规则。

通过模型优化功能不断做题获取反馈，原本“不太聪明”的小尺寸模型就能逐渐掌握在您这个专属业务场景下的作答技巧。

平台提供GRPO和OPD两种强化学习优化算法：

  • GRPO（群组相对策略优化）：由用户定义的奖励规则打分。系统让模型针对同一问题生成多个候选回答，依据规则或大模型裁判分别打分，通过组内对比强化高分回答、抑制低分回答。适合有明确评判标准、可量化打分的场景。
  • OPD（在线策略蒸馏）：由大尺寸Teacher模型打分指导。系统部署一个大尺寸Teacher模型，对同一问题生成高质量参考回答，引导小模型（Student模型）学习对齐。用户无需配置奖励规则，降低了使用门槛。适合希望简化配置、直接借助大模型能力指导小模型训练的场景。

模型优化运行机制

整个模型优化过程分为三个紧密相连的阶段：

阶段一：准备任务配置信息

准备需要优化的Agent以及训练数据，选择基础模型，选择优化算法，设置奖励规则（GRPO需设置）。

提交训练任务后，系统会在后台自动完成训练环境初始化，包括创建训练任务、配置推理服务接口等。准备完成后，任务自动进入训练阶段。

训练启动后，数据集中的问题将送入Agent环境，数据集的使用方式如下：

  • 问题字段（input）将送入Agent环境，触发模型作答（此时Agent中的模型已被替换为被训模型）。
  • GRPO算法中，答案字段（reference_output）将作为裁判中心的评分基准。
    • 使用规则裁判时，答案需与预期结果精确匹配。
    • 使用大模型裁判时，系统将对回答的语义质量进行综合评分。
  • OPD算法中，答案字段（reference_output）作为评估参考，Teacher模型也会根据问题生成参考回答用于指导训练。

阶段二：在线强化学习

这是整个模型优化的核心。系统不会让模型死记硬背，模型通过在真实环境中反复探索与反馈来调整行为，而非直接拟合固定答案，因此具备更强的泛化能力。

GRPO算法的具体过程如下：

  • 模型置换：系统会将被训模型直接置换到您的Agent中。
  • 循环训练：模型针对问题生成回答，裁判中心依据规则或大模型裁判进行打分，系统依据得分的高低，通过强化学习算法（GRPO）反向更新模型内部参数。模型进入一个“尝试作答 > 自动打分 > 自我进化”的循环，得分高就巩固记忆，得分低就纠正行为。
  • 群组对比：GRPO算法针对同一个问题，让模型同时生成多个不同的候选回答并分别打分，通过组内对比强化高分回答的生成策略、抑制低分回答，让模型逐步学会输出更高质量的回答。

OPD算法的具体过程如下：

  • 模型置换：系统将Student模型（被训小模型）直接置换到您的Agent中，同时使用Teacher模型（大尺寸模型）作为指导。
  • 循环训练：Student模型针对问题生成回答，Teacher模型对同一问题生成参考回答，系统使用算法计算Student输出与Teacher输出之间的差异，反向更新Student模型内部参数。Student模型进入一个“尝试作答 > Teacher指导 > 自我进化”的循环，逐步学会输出更接近Teacher水平的回答。

如果智能体中配置了插件、MCP这种工具能力，训练时这些能力会随Agent环境一同保留。模型会在一次任务中按真实链路完成与工具的交互。

阶段三：评估与部署

在不断的循环进化中，系统会阶段性地为您保存“模型快照”。您只需结合训练监控看板上的得分图表，挑选出综合得分最高且表现最稳定的一个快照，通过部署替换Agent中的原模型，即可完成能力升级。

运行示例：以客服意图分类为例

假设您有一个电信客服意图分类工作流，训练数据中有一条：问题=“宽带用着怎么断了”，标准答案=“故障报修”。

GRPO算法运行示例：

  1. 系统将小尺寸模型替换到工作流的意图识别节点中。
  2. 模型收到问题“宽带断了”，同时生成多个候选回答（GRPO群组对比）。
  3. 裁判中心用精准匹配规则分别打分：回答“故障报修”得高分，回答“根据您的描述，应该是故障报修”得低分（含多余废话）。
  4. 系统对比各个回答的得分，强化“故障报修”这种简洁输出的生成策略，抑制带废话的输出。
  5. 重复以上过程，模型逐渐学会只输出纯净的意图标签。

OPD算法运行示例：

  1. 系统将Student模型（小尺寸模型）替换到工作流的意图识别节点中。
  2. Student模型收到问题"宽带断了"，生成候选回答。
  3. Teacher模型（大尺寸模型）对同一问题生成参考回答（如"故障报修"）。
  4. 系统计算Student输出与Teacher输出之间的差异，通过PPO算法反向更新Student模型参数，使Student逐步学会输出更接近Teacher水平的简洁回答。
  5. 重复以上过程，Student模型逐渐学会只输出纯净的意图标签。

模型优化与传统模型微调（SFT）的区别

初次接触模型优化功能，容易将“模型优化”等同于“用一批数据去微调一个大模型”。实际上，两者在定位和运行机制上存在着本质的差异：

表1 模型优化与SFT差异对比

对比维度

传统大模型微调

模型优化

核心目的

行为克隆。让模型模仿示范数据中的行为模式，包括对话风格、指令遵循方式、工具调用模式和输出格式等。

对齐优化与单点突破。强化纠正模型的特定行为偏差，让模型学会探索最优解，例如严格遵循复杂输出格式、提高数学/逻辑推理的准确率等。

学习机制

离线模仿学习。模型看着标准答案逐Token计算概率误差并模仿，不涉及与真实环境的在线交互。

在线试错。模型被置于真实的Agent交互环境中（受Prompt、工具约束），自主生成完整动作序列，根据最终得分反推并修正自己的策略。

数据要求

构造成本高。需要高质量的“输入 > 输出”示范数据。如果涉及复杂推理任务，还需人工编写完整的中间推理步骤（思维链），构建成本显著上升。数据量通常数万条。

结果导向，标注门槛低。仅需提供问题和最终标准答案，无需人工编写中间的推理步骤，模型会通过RL算法自行探索正确的思考路径。

算法特性与局限

易过拟合。在充足且高质量的数据下能有效学习目标行为；局限在于数据覆盖不到的场景容易泛化不足，过度训练容易过拟合（退化为“只背答案”），且难以超越示范数据本身的质量上限。

精准打击，防遗忘。GRPO算法通过直接对“最终结果”进行高强度奖惩，格式遵循能力远超SFT；局限在于：奖励规则设计不当可能导致“奖励作弊”（模型学会钻规则漏洞骗取高分而非真正优化输出），且训练效果对数据质量和奖惩配置的合理性高度敏感。OPD算法：无需设计奖励规则，使用门槛低；局限在于，通过Teacher模型蒸馏指导，效果上限受Teacher模型能力约束。
表2 GRPO与OPD算法对比

对比维度

GRPO群组相对优化

OPD算法优化

奖励机制

需要用户配置奖励规则（正则匹配/数值比较/大模型裁判）。

无需配置奖励规则。

模型角色

单一被训模型。

Student模型（被训）+ Teacher模型（指导）。

训练机制

同一问题生成多个候选回答，组内对比打分，强化高分策略。

Teacher模型生成参考回答，Student模型通过PPO算法学习对齐。

适用场景

有明确评判标准、可量化打分的场景（如格式输出、数学计算、工具调用准确率）。

希望简化配置、直接借助大模型能力指导小模型训练的场景。

接下来您可以：

父主题： 模型优化

相关文档