文档首页/ 魔坊（ModelArts）模型训推平台/ 最佳实践/ LLM大语言模型推理/ LLM大语言模型推理其它版本/ 主流开源大模型基于轻量算力节点适配Ascend-vLLM框架NPU推理指导（6.5.908）/ 推理关键特性使用/ 投机推理/ Eagle/Eagle3投机推理
更新时间：2026-04-22 GMT+08:00
查看PDF
分享

Eagle/Eagle3投机推理

什么是Eagle/Eagle3投机

相比大小模型投机，Eagle/Eagle3投机仅有一层模型参数，同时使用历史生成的token和该token对应的hidden states作为投机模型的输入。这种方式提高了投机模型生成的效率。

主要应用场景

适用场景：

不适用场景：

  • 吞吐量较大的场景(batchsize较大，算力遇到瓶颈)。
  • 没有对应的Eagle/Eagle3模型

工作原理

  1. 起草阶段：使用小模型生成一段候选 token 序列。
  2. 验证阶段：将候选序列输入大模型进行并行计算，验证其概率分布是否一致。

启用Eagle/Eagle3投机参数

配置项

配置参数

取值类型

配置说明

--speculative-config

num_speculative_tokens

int

每次预测的 token 数量。取值为大于等于1的正整数；且若设置过大会导致性能劣化，推荐根据接受率设置1/2/3，其中推荐先设置为1，若接受率高于70%，可尝试设置为2对比性能收益。

method

str

投机方法："eagle"或者"eagle3"，视投机模型权重而定。若投机模型权重名称为Qwen3-XXXX-EAGLE3-XXX，则为eagle3，反之为eagle。

model

str

投机模型路径。

支持模型

基础模型

投机方法

投机模型权重

Qwen2.5-14B-Instruct

eagle

https://huggingface.co/Zjcxy-SmartAI/Eagle-Qwen2.5-14B-Instruct

Qwen3-8B

eagle3

https://huggingface.co/Tengyunw/qwen3_8b_eagle3

Qwen3-32B

eagle3

https://huggingface.co/AngelSlim/Qwen3-32B_eagle3
父主题： 投机推理

相关文档