三十秒读懂
这篇综述把推理模型的进展归纳为三条主线:训练时怎么给奖励、推理时怎么花算力、评估时怎么防泄漏。最有价值的结论是:测试时计算的收益存在明显拐点,“让模型想得更久”并不总是更好,任务难度和模型能力必须匹配。
论文讲了什么
综述覆盖了从思维链提示、过程奖励模型到测试时搜索的主要技术路线,整理了公开基准上的横向对比。
三个值得记住的结论:
- 过程奖励 vs 结果奖励:过程奖励在数学类任务上优势明显,但在开放性任务上,精心设计的结果奖励并不落下风。
- 测试时计算有拐点:给模型更多思考 token,收益先陡后平。简单任务上过度思考甚至会降低准确率。
- 评估泄漏被低估:多个常用推理基准的题目在预训练语料中可以找到近似原文,部分排行榜差距可能来自记忆而非推理。
综述作者的原话很克制:我们测量的往往是“基准分数的提升”,而不是“推理能力的提升”。
怎么用这篇综述
如果你在做模型选型,别只看排行榜总分,先看你的任务属于哪一类:结构化、可验证的任务(数学、代码)从推理模型上获益最大;写作、总结类任务的差距远小于宣传。
如果你在做应用开发,测试时计算的拐点意味着:给推理预算设上限,是在为质量优化,不只是在省钱。