推理时计算扩展

推理时计算扩展（test-time compute scaling，也称测试时计算扩展或推理阶段计算扩展）是指语言模型面对一次具体任务时，使用额外的生成、搜索、修订或验证计算来提高答案质量。它关注的是每个问题在推理阶段获得多少计算，以及这些计算怎样转化为候选答案与选择过程；增加推理预算并不保证答案一定更好。Snell 等人的研究把它作为可与模型规模比较的计算分配问题；OpenAI 对 o1 的介绍则分别提到训练阶段强化学习计算和测试时思考时间。

训练时扩展发生在模型训练期间，例如增加预训练数据或训练计算，或投入更多强化学习更新；其目标是改变参数或模型获得的策略。推理时扩展发生在已训练模型接收具体输入之后，主要增加这个输入对应的计算预算，例如生成更多 token、尝试多个候选答案、运行搜索，或者使用验证器比较候选。训练得到的能力会影响模型是否善于长程思考、修订和验证，因此训练与推理是相互关联的条件，却是不同的资源轴。OpenAI 在介绍 o1 时将随强化学习训练计算和随测试时思考时间而变化的表现分开讨论。OpenAI：Learning to reason with LLMs

“推理时计算扩展”不等于泛指推理服务的算力扩容、并发吞吐或更大批次。那些做法可以让系统更快处理更多请求，但未必给单个问题更多搜索、验证或计算。它也不是“调用工具”的同义词：模型访问浏览器、代码执行器或数据库，会把外部观察或操作引入任务流程；工具调用可与额外推理预算并用，却不是必要条件。一个模型可以在不调用工具时对同题采样、比较和修订；也可以只进行一次工具调用，并未运行更广的候选搜索。

推理计算也不等于向用户展示思维链。额外计算可以表现为更长的内部生成、分支搜索或由系统执行的候选筛选，最终界面只显示答案或简短摘要。OpenAI 的 o1 系统卡说明了其模型使用思维链，并讨论呈现给用户的思维链摘要；该卡同时指出这类链条是否忠实反映模型思考仍是开放研究问题。因而，答案是否附带逐步解释不能单独用来判断模型使用了多少计算，也不能据此认定公开文本就是完整的内部过程。OpenAI o1 System Card

最直接的方式是给同一模型更多生成预算，让它在一次作答中继续推演。经过相应训练的模型可能会把复杂任务拆成步骤，检查中间结果、修正错误或回退到另一条路线。生成更长的回答只是其中一种表现；若新增 token 主要是重复、无关推测或错误延展，额外长度不会自动变成有效推理。

并行采样则从同一问题生成若干完整候选，再用多数投票、结果验证器或其他评分器选出一个答案。best-of-N 是常见形式：产生 N 个候选，并选择评分较高者。若问题存在可自动检验的结果，验证器可检查最终答案；过程奖励模型则尝试评估中间步骤，并据此进行束搜索等搜索。过程级信号让系统能较早淘汰看似走偏的分支，但只有当评分器与任务目标相符时才有帮助。模型可能学会利用评分器偏好，产出高分但实际不正确的内容。

顺序修订让模型把前一轮答案作为上下文，再生成改进版本；它不同于各候选互不相干的并行采样。前者更像局部改写或纠错，后者可能探索彼此差异较大的方法。系统也可混用二者：一部分预算尝试不同路径，一部分预算继续修订看起来有希望的答案。另一些系统以测试时搜索策略在部分推理树上扩展、打分和剪枝。beam search、lookahead search 等方法的成本和行为不同，不能只数最终答案个数就视为等量计算；每个方法的推理调用、额外前瞻和验证器计算都可能不同。Snell 等人对采样、修订、PRM 与搜索的比较

固定预算会把相同资源给容易与困难的问题。自适应分配试图估计一个问题是否需要更多计算，再决定生成次数、修订与并行搜索的比例，或何时停止。较简单的问题可以少试几轮；若模型或验证器显示不确定、不同候选答案分歧较大，系统可投入更多预算。真正有效的分配还要计算估计难度本身的成本，并规定最大延迟和资源上限；若判断难度的方法昂贵，筛选阶段可能抵消节省下来的计算。

DeepSeek-R1 技术论文报告了模型随题目难度动态改变思考 token 数的观察：在其 2024 年数学竞赛题集合上，论文给出 61.8% 的 Pass@1，平均每题生成 8,793 个思考 token；简单题使用不足 7,000 个，最困难组超过 18,000 个。这里的题集来自 93 场 2024 年数学竞赛，共 366 题。这些数值是特定模型、测试集合与论文所用计算设置下的结果，说明该模型在该实验中呈现自适应长度，并不能代表所有模型或任务都存在相同曲线。DeepSeek-R1 技术论文

不同实验测量的并非同一系统或同一种“多算”。Snell 等人围绕 MATH 高中竞赛数学数据开展研究，使用经过能力微调的 PaLM 2-S*（Codey）模型；文中实验用的数据划分包含 12,000 道训练题和 500 道测试题，并比较过程验证器搜索和答案修订策略。研究发现，按题目难度选择计算策略，在若干设置下可以用约四分之一预算接近或超过 best-of-N 基线的表现；但结果依赖可用的修订模型、验证器、任务难度估计和生成预算。论文也报告，较高预算下的搜索增益可能减弱；简单题上过度优化过程奖励模型会损害表现，最困难的一档题目中不同方法都未取得明显进展。其“超过约 14 倍参数量的预训练模型”等 FLOPs 匹配比较也只适用于论文选取的任务与基线，不能被改写为普遍的模型排名。Snell 等人研究的实验设置和结果

OpenAI 在介绍 o1-preview 的研究页面中公布了另一种评测：在 2024 年 AIME 数学题上，单次采样平均解出 74%；对 64 个样本进行共识选择时为 83%；使用学习得到的评分函数对 1,000 个样本重新排序时为 93%。这是模型、评测题、候选数量及评分器共同构成的一组报告结果。它说明在这个设置里增加采样并改善选择与更高得分相伴，不证明任意模型在任意题目上增加相同计算都能获得相同提升；也不能把单样本和多样本策略视作同一成本。OpenAI 对 AIME 2024 评测的说明

DeepSeek-R1 论文的 366 题分析与 OpenAI 的 AIME 结果不是同一基准、样本或实验控制，不能据此直接排列模型优劣。另一类证据来自 o1 系统卡及其他模型系统报告，它们通常公布特定模型、检查点、评测脚手架或推理设置下的成绩。单个 agent benchmark 分数反映模型与给定工具、提示、执行环境、重试方式和评分规则组成的系统在那套任务上的结果；除非实验控制了这些因素并直接比较计算预算，否则该分数不能单独证明 test-time compute scaling 的因果效果。OpenAI o1 系统卡

增加预算首先有成本：响应时间、推理服务支出和能源消耗可能增加，尤其是并行生成许多候选或重复调用验证器时。改进幅度也可能递减，甚至转为负面。Snell 等人的 MATH 实验显示搜索策略会受过程奖励模型误差影响；扩展搜索有时会放大评分器学到的虚假特征，产生重复或过短的步骤。DeepSeek-R1 论文也记录，小型基础模型在更长回答下可能陷入重复，未能把长思维链转化为更高数学准确率。模型如果缺少解题所需知识、工具访问或可靠反馈，单纯增加推演时间通常无法保证弥补缺口。Snell 等人的验证器过优化结果；DeepSeek-R1 对基础模型规模与失败尝试的讨论

比较实验时应同时说明被测模型及版本、任务和数据集、生成或搜索策略、候选数量、验证器、总 token 或计算预算、推理延迟及评分方法。pass@1、对多个候选投票、学习评分器重排，以及有工具脚手架的 agent 成功率回答的是不同问题。词条所说的“扩展”应限定为对特定请求投入更多推理阶段计算并观察其效果，而不能由一个排行榜名次、模型输出很长、调用了外部工具，或对外展示了解释文字来推断。

• Charlie Snell、Jaehoon Lee、Kelvin Xu、Aviral Kumar，Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters，2024，arXiv:2408.03314。论文研究 MATH 上的测试时搜索、修订、验证器、计算预算和难度自适应策略。arXiv 摘要与论文
• OpenAI，Learning to reason with LLMs，2024。介绍 o1-preview 的训练与测试时计算概念，并报告其 AIME 2024 单次采样、共识和评分器重排设置。OpenAI 研究介绍
• OpenAI，OpenAI o1 System Card，2024。记录 o1 系列的系统评测、思维链相关风险讨论及特定模型检查点和测试设置。OpenAI 系统卡
• DeepSeek-AI 等，DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning，2025，arXiv:2501.12948。论文讨论 RL 训练与推理阶段思考长度，并报告数学竞赛题分析和失败尝试。arXiv 摘要与论文

配图说明：原创 AI 生成的推理时计算扩展概念插画。分支和勾选符号仅作抽象视觉表达，不代表真实模型内部结构、评测流程、正确率或任何具体产品界面。