推测解码

推测解码是一类用于加速自回归语言模型推理的解码算法。它让较轻量的提议机制先连续猜测若干后续词元，再由目标模型并行核验这些候选；核验通过的连续前缀可以一次提交，首个未通过位置则按目标模型的规则修正。若接受与修正步骤满足相应概率条件，随机生成时最终序列的概率分布可与单独运行目标模型相同。它优化的是生成过程中的串行等待，并不保证任何模型、硬件或请求都能变快。

自回归模型按序生成词元：后一位置要以已经生成的前缀为条件。传统逐词元解码每轮通常只确定一个新词元，再进入下一轮。大型模型在解码阶段可能受权重和键值缓存反复读取、内存带宽或设备间通信限制；如果每轮计算单个词元时算力没有充分利用，逐轮等待便会拉长交互中的词间延迟。

推测解码把这段串行过程改造成“先提议、后验证”。目标模型仍决定最终输出，提议方只负责给出可能的后续词元。提议方可以是较小的草稿模型，也可以是目标模型附带的多词元预测头、基于局部重复的 n-gram 或后缀匹配等机制。该算法作用于推理时的解码环节；它不是训练目标模型、剪枝模型或压缩权重的同义词。某些实现需要另行训练或准备草稿组件，但那属于提议机制的构建，并非推测解码概念本身必然包含的模型训练。

“保持分布”也有明确含义：在设定相同的目标模型、输入历史和采样规则时，算法输出的概率分布与直接从目标模型逐步采样一致。它不意味着采用不同随机数种子后逐词元复现同一条文本，也不意味着不同批次或不同数值精度执行必然得到完全相同的结果。贪心解码等确定性设置有相应的一致性判定，但不能把随机采样下的分布等价误写成每次输出文本完全相同。

设目标模型在当前前缀下的下一词元分布为 p，提议机制的分布为 q。提议方按自身的条件分布连续生成 k 个候选；由于每个候选要以前一个已提议词元为条件，这一步本身仍是串行的，不过较小模型或简单匹配机制通常成本较低。随后，目标模型一次处理包含这些候选的扩展前缀，算出各位置对应的目标分布。对于 Transformer 解码器，这种多位置计算可以并行化；一次运行会增加计算量，但有机会减少目标模型必须串行启动的轮数。

核验不是只问“草稿词是否等于目标模型最可能的词”。在经典的随机推测采样中，若第 i 个草稿词为 x，目标分布概率为 p(x)，提议分布概率为 q(x)，则接受概率为 min(1，p(x)/q(x))。这里的 p 与 q 是该词元在相应精确前缀下、按实际采样设置得到的条件概率；q(x)不是对一组候选词打出的未归一化分数。一旦某个位置被拒绝，就停止接受更后面的候选，并从归一化后的正残差分布 max(0，p−q) 中重新抽取该位置的词元。残差部分补足了提议分布与目标分布的差额；如果一串候选全部通过，还可从目标模型再取一个额外词元。由此，接受部分与修正部分合起来保留了目标分布。Leviathan、Kalman 与 Matias 在 2023 年的论文中给出了这一采样机制及其推导。

一个假设例子可以说明残差的作用。若某位置目标分布对 A、B、C 的概率分别为 0.6、0.3、0.1，而提议分布分别为 0.5、0.4、0.1，提议方抽到 B 的概率为 0.4；目标模型给 B 的概率较低，因此 B 只以 0.3/0.4 的概率接受。若被拒绝，差额只剩 A 的 0.1，残差分布便把这部分概率补给 A。合并“接受的提议”和“拒绝后的修正”后，A、B、C 的总概率仍分别为 0.6、0.3、0.1。这个例子解释的是概率机制，不代表任何产品或实测结果。

在贪心解码中，目标每一步选概率最高的词元，验证可比较提议词与目标词是否一致；若不一致，则用目标词替换并在此处结束本轮接受。这与随机采样的比率接受和残差抽样不是同一个规则。若系统用了温度、top-k、核采样、重复惩罚、词表屏蔽或结构化输出约束，目标分布和提议分布必须按实际生效的处理规则计算，并在修正步骤中维持一致。只比较两边的 top-1、top-k 候选集合，或把未经校准的草稿概率当作 q，都不足以保证随机输出分布等价。

草稿模型方案单独运行一个较小的模型来提议词元。它可能与目标模型使用兼容词表，也可能需要明确的词元映射；草稿模型越便宜、与目标模型在当前任务和前缀上的条件分布越接近，通常越有利。小模型并不必然是好草稿：若其提议成本高、接受率低，或者词元边界不兼容，节省下来的目标模型轮次可能抵不过新增开销。

模型内预测方案复用目标模型内部状态或附加预测组件。多词元预测（MTP）可利用为预测后续词元设计的模型组件；EAGLE 等方法则依赖与目标模型配套的提议头或草稿结构。具体方法的训练方式、所需模型文件、可用硬件和推理框架支持情况各不相同，不能因都归入“推测解码”便认为可互换。vLLM 0.18.0 的官方指南列出 EAGLE、MTP、草稿模型、并行草稿模型、多层感知机、n-gram 与后缀解码等路线，并明确称实际收益取决于模型家族、流量、硬件和采样设定。

n-gram 与后缀类方案从输入、已生成文本或已有缓存中寻找可复用片段，再把匹配部分作为候选。它们不必额外驻留一套完整草稿模型，适合存在重复格式、模板或局部循环的任务，但在开放式、变化很大的续写中，匹配跨度可能很短。不同路线还可能采用链式候选或候选树；树形验证可以扩大可检查候选范围，却会带来额外分支计算、缓存和调度成本。选型应以实际引擎版本的兼容性和基准结果为准，而非仅看算法名称。

传统自回归生成每个新词元都要等待目标模型下一轮启动。推测解码把多个候选位置交给目标模型并行核验。如果一次核验能接受多个词元，同一轮目标模型计算便覆盖了更长的输出片段；当目标模型计算受内存带宽约束、算力尚有空余时，增加并行计算可能比反复读取权重与缓存更划算。这种机会通常体现在解码阶段的词间延迟或给定请求负载下的生成吞吐，不应直接推断为首词延迟、提示词预填充、总成本或所有端到端指标都会同幅度改善。

决定收益的因素不止“提议准确率”。首先，草稿模型每轮需要多少时间与设备资源，提议深度设置多大；其次，连续接受长度如何随词元位置、任务、请求和采样参数变化；再次，目标模型并行核验时的内核效率、批量大小、调度开销、键值缓存占用、跨设备通信和设备空闲算力。目标模型核验通常不会免费：被拒绝的候选也已消耗计算，深度过大可能增加浪费；草稿模型的权重、缓存与额外状态还会占用显存。候选接受得再多，如果验证批次把系统推入计算瓶颈，也不一定转化为同等的墙钟时间收益。

因此，推测解码常适合目标模型因带宽而受限、并有可用计算余量的解码负载；在低并发交互中，减少逐词元等待可能更重要。高并发或大批量服务虽然能提高绝对吞吐，却会消耗更多计算能力，核验被拒绝候选的成本更突出，推测方案相对普通解码的加速比例可能下降。短回答也可能因草稿启动、额外核验和调度成本而难以摊薄开销。2023 年的原始论文以 T5-XXL 与 T5X 实现作比较，报告其特定实验中有 2 至 3 倍延迟改善；这属于论文所列模型和实现的实验结果，不是所有部署的承诺。

应用评估要从实际负载出发，而不是只测草稿接受率。交互式问答、代码补全或模板化生成可以作为候选场景：若目标模型解码期间存在带宽瓶颈，而草稿内容与目标续写有足够重合，减少目标模型串行轮次可能改善词间等待。代码编辑中的重复片段可能有利于局部匹配，但同一任务在不同提示、模型和批量下也会表现不同。以上是基于算法机制的适用条件，不能据此宣称某个未核验的服务已部署该技术或获得具体提速。

严谨比较应固定目标模型、提示集、采样参数、停止规则、批量与并发、硬件和软件版本；分别记录端到端请求延迟、首词延迟、词间延迟、输出词元吞吐、显存峰值及目标模型核验与草稿阶段耗时。由于推测路径可能因数值舍入或批处理非确定性而改变具体输出长度，吞吐比较应同时说明计量口径。需要检查语义质量时，应区分“输出分布是否保持”与“任务质量是否可接受”这两个问题：前者是算法保证及其实现验证，后者还与基准任务、请求样本和评估方法有关。

这项研究已作为经同行评审的会议论文发表于《Proceedings of Machine Learning and Systems》第 8 卷（MLSys 2026）。该论文的 arXiv 页面版本记录显示，v1 于 2025 年 12 月 31 日提交，v2 于 2026 年 3 月 18 日修订；这些日期用于说明预印本版本历史。论文在 vLLM 上比较了 n-gram、EAGLE/EAGLE-3、草稿模型与 MTP 等方式，覆盖不同模型、任务和批量。作者报告目标模型核验在多种设置中占据重要耗时，接受长度会随输出位置、请求和数据集变化；论文也指出测得收益与理想化上限之间存在差距。该研究的范围是其模型、硬件、负载和 vLLM 实现，适合作为评估变量的证据，不应被解释为对所有推理系统的普遍结论。

推测解码与量化解决的问题不同。量化通过以较低数值精度表示模型参数或缓存来争取更小内存占用，其精度、硬件支持与执行效率取决于具体格式和实现；推测解码则在目标模型保持为最终裁决者的前提下组织候选与并行核验。两者理论上可以同时用于一套推理系统，但组合后的分布精度、性能和兼容性仍须分别测试。它也不同于直接将大模型替换成小模型：后者通常接受不同的目标模型分布，而经典推测采样的设计目标正是通过拒绝与修正保留原目标分布。

这种“分布保持”是带条件的算法性质，不等于每个软件栈在现实中自动精确。浮点舍入、不同批量下的非确定性、采样器实现、logits 处理顺序以及框架支持情况，都可能造成可观察差异。vLLM 0.18.0 文档将理论无损说明限定在硬件数值精度范围内，并描述其实现验证方式，同时提醒输出 log-probability 的稳定性不获保证。工程上线前应在目标模型、采样配置、推理框架、硬件和典型负载下做对照，确认分布验证与延迟收益；不兼容、无算力余量或无法验证正确性的配置，应关闭相应路径。

• Fast Inference from Transformers via Speculative Decoding，Leviathan、Kalman 与 Matias，ICML/PMLR，2023
• vLLM Speculative Decoding，vLLM 0.18.0 官方文档
• Quantization，vLLM 0.18.0 官方文档
• Speculative Decoding: Performance or Illusion?，Proceedings of Machine Learning and Systems 8（MLSys 2026）
• MLSys 2026 Call for Papers：官方双盲评审流程说明
• 该论文的 arXiv 版本记录：arXiv:2601.11580，v1 提交于 2025 年 12 月 31 日，v2 修订于 2026 年 3 月 18 日