✓ 已核对研究解读来源 · arXiv

推理模型综述:思维链之后,我们到底在优化什么

一篇覆盖近两年推理模型进展的综述论文。这篇解读挑出其中最有信息量的三个结论,并说明哪些流行说法其实缺乏证据。

研究解读 · arXiv

三十秒读懂

这篇综述把推理模型的进展归纳为三条主线:训练时怎么给奖励、推理时怎么花算力、评估时怎么防泄漏。最有价值的结论是:测试时计算的收益存在明显拐点,“让模型想得更久”并不总是更好,任务难度和模型能力必须匹配。

论文讲了什么

综述覆盖了从思维链提示、过程奖励模型到测试时搜索的主要技术路线,整理了公开基准上的横向对比。

三个值得记住的结论:

  1. 过程奖励 vs 结果奖励:过程奖励在数学类任务上优势明显,但在开放性任务上,精心设计的结果奖励并不落下风。
  2. 测试时计算有拐点:给模型更多思考 token,收益先陡后平。简单任务上过度思考甚至会降低准确率。
  3. 评估泄漏被低估:多个常用推理基准的题目在预训练语料中可以找到近似原文,部分排行榜差距可能来自记忆而非推理。

综述作者的原话很克制:我们测量的往往是“基准分数的提升”,而不是“推理能力的提升”。

怎么用这篇综述

如果你在做模型选型,别只看排行榜总分,先看你的任务属于哪一类:结构化、可验证的任务(数学、代码)从推理模型上获益最大;写作、总结类任务的差距远小于宣传。

如果你在做应用开发,测试时计算的拐点意味着:给推理预算设上限,是在为质量优化,不只是在省钱。