2023年，一位数学老师要批改一百份学生的解题过程。她可以只看最后答案打对错，五分钟搞定。但她知道，光看答案没法告诉学生错在哪一步。于是她选择了更费时的方式：把每一步推导都圈出来，标注"这步对""这步错"。这样学生才能真正进步。

现在把这位老师换成人工智能模型，问题就变得棘手起来。

你可能以为，既然大模型已经这么聪明了，训练一个能逐步批改解题过程的"AI阅卷老师"应该不难。但现实是，这件事贵得离谱,而且贵得不讲道理。

**阅卷老师不好当：为什么逐步打分比只看结果难得多**

在大模型的世界里，有一种工具专门负责"打分"，叫做奖励模型。它分成两种。

一种叫结果奖励模型（ORM）：*只看最终答案对不对，就像只看考卷最后一行结果打钩打叉*。

另一种叫过程奖励模型（PRM）：*给解题过程里的每一步都打分，告诉你具体哪一步开始出错*。

过程奖励模型听起来显然更有用。就像一个只会说"你这次考试不及格"的老师，和一个会说"你在第三步把符号看反了"的老师，后者显然更能帮学生进步。研究也证实了这一点：早在2023年OpenAI的研究就发现，过程监督确实比只看结果的监督效果更好。

但问题来了：怎么获得这些"每一步对不对"的标注？

第一种办法是找人工标注。让数学博士一步步看，一步步判断对错。靠谱是靠谱，但贵得吓人，而且没法批量生产。你总不能雇一千个数学博士天天看AI做题吧。

第二种办法是蒙特卡洛估计（Monte Carlo estimation）：*让AI从某一步继续往后尝试很多次，如果大部分尝试都能得出正确答案，就认为这一步是"好"的*。

这个办法能省人工，但代价是要让AI反复尝试几十次甚至上百次，计算成本极高。更麻烦的是，这个方法的逻辑本身就有漏洞：一步推导"能不能从这里走到正确答案"，不等于"这一步本身是不是对的"。

打个比方。你开车走错了一个路口，但凭着运气绕了一圈又回到了正确路线，最终安全到家。按照蒙特卡洛的逻辑，这个"走错路口"的决定会被打上"好"的标签，因为它最后导向了正确结果。可是这个决定本身明明是错的，只是侥幸没酿成大祸。如果训练数据里全是这种侥幸过关的案例，AI阅卷老师学到的判断标准就会跑偏，它会把"运气好"误判成"做得对"。

这就是过程监督领域长期以来的两难：要么贵到做不起（人工标注），要么标注本身就不准（蒙特卡洛）。有没有第三条路？

**意外的发现：AI自己批改答案时，会偷偷检查过程**

论文的作者们观察到一件有意思的事。

当你让一个大模型去判断"这道题的最终答案对不对"时，哪怕你完全没要求它检查中间步骤，它也会自己"想"一遍解题过程，顺手挑出错误。

论文里给了一个具体例子。题目是计算0的某次方，模型Qwen3-4B在判断最终答案对不对时，自己在思考过程里写道："第一段说明情况没问题,第二段里出现了关键错误,这里把'正数的0次方等于1'这条规则用反了,实际上题目问的是0的正数次方,不是正数的0次方,逻辑搞反了,所以这一段不成立,标为0"。接着它顺理成章地判断：既然中间那步错了，最后答案也是错的。

模型从头到尾没有被要求"请检查每一步"，但它自己在"思考"的过程里，已经把错误步骤找出来了。

这个发现让研究团队冒出一个想法：既然模型天生就有这种"边想边查"的本能，能不能利用这个本能，只靠"最终答案对不对"这一个信号，反过来训练出一个擅长挑错的过程阅卷老师？

这就像教小孩写作文。你不直接告诉他"这句话用词不当，那句话逻辑混乱"，你只告诉他"这篇作文整体写得不好"。但如果这个小孩足够聪明，他会自己回头检查，琢磨到底哪里出了问题，然后在下次作文里改进那些具体问题。如果不给这种自我复盘的机会，只是反复说"不好不好"，小孩永远不知道该往哪个方向改。

基于这个洞察，研究团队提出了一套叫做TIPS（Thinking-Induced Process Supervision，思考诱导的过程监督）的训练方法。

**TIPS是怎么工作的：只奖励结果，却能练出过程判断力**

TIPS的训练过程可以拆成三步。

第一步，给模型一道题和一份候选解答，让它先生成一段思考过程，也就是常说的思维链（Chain-of-Thought，简称CoT）：*模型在给出最终答案前，先用自然语言写出推理步骤的过程*。

第二步，在思考完之后，模型输出两样东西：每一步的对错标签，以及一个整体的"这份解答最终对不对"的判断。

第三步，也是最关键的一步：训练时只根据第二步里"最终判断对不对"这一项来给奖励，完全不管每一步的标签打得准不准。

这里用到的训练算法叫GRPO（Group Relative Policy Optimization，群组相对策略优化）：*一种让AI针对同一个问题生成多份答案，然后比较这些答案之间谁的表现更好，用相对好坏来调整模型的强化学习方法*。

具体来说，针对同一道题，模型会生成好几份不同的解答尝试，每一份都包含一段思考过程和最终判断。如果某一份的最终判断蒙对了，它就能拿到更高的奖励，这份尝试里的所有内容，包括前面那段思考过程，都会被同步强化。

这里有个很关键的逻辑链条。如果一次思考过程里，模型准确挑出了中间的错误步骤，那么它更容易得出正确的最终判断。正确的最终判断能拿到更高奖励。更高奖励会让这整段思考过程被强化，包括里面挑错误的那部分。所以哪怕训练信号完全不提过程对错，只要"挑出错误"这个行为有助于蒙对最终结果，它就会被间接鼓励，一轮一轮地被训练得越来越准。

这就像一家公司只考核销售额，完全不考核具体的客户沟通技巧。但销售额这个结果恰好高度依赖沟通技巧的好坏，于是那些善于倾听客户需求、精准推荐产品的销售员业绩更好，拿到更多奖金，这种沟通方式自然就会在团队里被模仿和放大。公司从头到尾没有直接奖励"沟通技巧"，但好的沟通技巧因为能带来好结果，照样被筛选了出来。如果反过来，公司既考核销售额又考核沟通技巧，看起来更全面，但沟通技巧的考核标准往往很难定义清楚，容易引入新的偏差，这正是蒙特卡洛方法踩的坑。

论文作者还给出了一套数学论证，用信息论的语言说明：当最终结果的对错很大程度上取决于中间步骤的对错时，模型想要准确判断结果，就必须在思考过程里保留步骤对错的信息。这个条件在数学解题里天然满足，因为一道数学题答案对不对，几乎完全由每一步推导是否正确决定。

这个理论推导也顺带指出了方法失效的几种情况。如果模型能直接从题目本身猜出答案对错，根本不需要认真看过程，这套方法就不起作用了。如果强化学习训练本身没能把最终判断的准确率提上去，那整条逻辑链条也立不住。还有一种情况是，如果任务里"过程对不对"和"结果对不对"的关联本来就很弱，比如智能体完成一个复杂任务失败了，可能是因为少做了一步，也可能是因为收集的信息不够，这种情况下过程监督就很难被诱导出来。

**只用3200条数据，打平甚至超过了72B的大模型**

理论说得再漂亮，也得看实际效果。研究团队在数学解题和智能体任务两个领域做了大量实验。

先看数学领域的权威测试集ProcessBench：*一个专门用来评测AI能否准确找出数学解题过程中第一个错误步骤的测试基准，覆盖从小学应用题到奥林匹克竞赛题的不同难度*。

结果相当亮眼。用TIPS训练出来的Qwen3-4B-Thinking模型，只用了3200条标注了"最终结果对不对"的训练数据，就拿到了85.2分的F1分数。这个分数超过了参数量是它18倍的Qwen2.5-Math-PRM-72B（78.3分），超过了32B规模的专用模型GenPRM（77.6分），甚至超过了GPT-5.4-Instruct（79.4分）和Claude-4.7-Opus（79.3分）这两个顶级商业大模型直接拿来当裁判时的表现。唯一还没追上的是o1-mini，它拿到了87.9分。

这里有个数字特别值得玩味。同样是用3200条数据、同样的训练方法，换成之前已有的两种弱监督方法AutoPSV和ImplicitPRM，用19.7万条数据训练出来的版本，F1分数分别只有45.3和41.5，连TIPS的零头都够不上。这说明问题根本不出在数据量上，而出在训练思路上。那些方法虽然也只用了"最终结果对不对"这种粗糙标签，但模型内部缺少一段显式的思考过程去承载和传递这种判断逻辑，相当于让学生凭空给出判断而不许打草稿，自然学不扎实。

还有个很有意思的现象，论文里专门提到：直接拿Qwen3-4B-Thinking这种"思考型"模型当裁判时，它的表现反而比"指令型"的Qwen3-4B-Instruct略差一点，60.3分对63.8分。但是经过TIPS训练之后，思考型模型反超到85.2分，指令型模型只到77.7分。研究者分析，这是因为思考型模型天生就习惯生成更长、信息更丰富的思考过程，这种"喜欢多想"的习惯在训练前可能有点用力过猛、抓不住重点，但一旦被强化学习针对性地打磨之后，这种丰富的思考反而成了优势。

智能体任务上的表现同样说明问题。研究团队在AgentProcessBench（专门评测智能体完成多轮任务时能否准确定位第一个错误步骤的测试集）上测试了三种不同规模的骨干模型，TIPS训练后全部有提升，其中Qwen3-4B-Thinking的平均首错定位准确率从43.7%提升到49.1%，提升了5.4个百分点。但整体提升幅度比数学领域要小，这恰好印证了前面理论部分提到的那个限制条件：智能体任务里，最终成败和具体哪一步出错的关联本来就比数学题松散得多，失败可能来自漏做了一个动作，也可能来自信息收集不充分，很难归结到某个清晰的错误节点上。这就像一场足球比赛输了，你很难说清楚究竟是哪一次传球失误导致的，输球的原因往往是多方面因素叠加的结果，这和数学题"一步错步步错"的清晰因果链完全不同。

**这个方法不是万能的：失效的几种情况**

研究团队做了几组很诚实的对照实验，专门去找这个方法的破绽。

第一组对照是去掉思考过程。如果不让模型先生成思维链，只让它直接吐出每步的对错标签和最终判断，会发生什么？实验结果很干脆：这种"直接打标签"的版本几乎学不到任何有效的过程判断能力，ProcessBench基础分数只有47.5分（对比有思考过程版本的63.8分），而且强化学习训练几乎没有带来任何提升，过程判断的提升幅度只有0.7分（对比13.9分）。这个对比清楚地证明，思考过程不是锦上添花的装饰，而是整套方法能不能生效的核心支撑，没有这段"打草稿"的环节，结果监督就没有渠道传导到过程判断上。

第二组对照更微妙，关于模型本身的底子。研究团队对比了Qwen2.5-7B-Instruct和同一个基座模型经过DeepSeek-R1蒸馏之后的版本，两者都只用结果奖励去训练。DeepSeek蒸馏版本的表现很稳定，结果判断准确率和过程判断F1分数同步上升，训练到后期趋于平稳。但原版Qwen2.5-7B-Instruct却出现了一个让人意外的情况：结果判断的准确率一路飙升，提高了41.1个百分点，可过程判断的F1分数却是先升后降，在训练到第30步时达到峰值提升25.7分，之后一路下滑，到第90步时只剩9.4分的提升。

这说明了一件挺值得警惕的事：如果一个模型本身缺乏扎实的"步步为营"思考习惯，它完全有可能找到一条捷径，直接学会"蒙对最终结果"，而不去真正理解每一步推导是否合理。这就好比考试作弊，有些学生发现只要记住标准答案就能拿高分,根本不需要理解解题过程,时间一长,他们连基本的推导能力都荒废了。针对这个风险，研究团队提出了一个简单实用的应对办法：当结果判断的准确率已经趋于平稳、同时模型生成的回答长度开始变短时，就该及时停止训练了，这是一个不需要任何过程标注也能判断的预警信号。

第三组对照专门排查了一个容易被误解的问题：会不会TIPS训练出来的模型，只是单纯地变得更会做数学题了，顺带着"判断对错"的能力也跟着涨了，而不是真的学会了"挑错"这件事本身？

研究团队做了一次很扎实的排除实验。他们单独训练了一个"只练解题、不练判断"的对照版本，用标准的强化学习方法在DAPO-Math-17K数据集上训练Qwen3-4B-Instruct，只奖励最终答案对不对。结果这个对照版本在AIME 2026和HMMT Feb 2026这两个数学竞赛测试上的解题准确率确实比TIPS版本更高，55.8%对53.3%。但是换到ProcessBench上比较找错能力，这个一门心思练解题的版本只有62.8分，反而比TIPS的77.7分低了接近15分。

这个结果很有说服力。解题能力和挑错能力是两件不完全重合的事情，前者强不代表后者也强。研究团队还拿了一个参数量大得多的Qwen3-30B-A3B-Thinking模型来对比，它的解题能力明显更强，但ProcessBench上的找错表现反而比4B规模的TIPS模型低了将近5分。这进一步证明，TIPS确实是在训练一种独立于解题能力之外的、更接近"审题官"角色的判断力，而不是把解题能力包装成了另一副面孔。

**人工复核：找得准不准，说得清不清楚**

研究团队还专门做了一次人工审核，找了两位博士生从ProcessBench里随机挑了60个样本，逐一检查TIPS训练出来的模型给出的反馈。

结果显示，模型准确定位到第一个错误步骤的比例是78.3%，在这些定位准确的案例里，进一步检查它给出的解释是否也说清楚了错误的真正原因，准确率是80.9%。综合下来，同时做到"找得准"和"说得清"的比例是63.3%。

这个数字不算完美，但也说明一件事：这个只靠结果标签训练出来的模型，确实在相当程度上学会了像人一样去分析、解释错误，而不只是蒙对一个标签而已。

写在后面

读这篇论文的过程中，最让我反复琢磨的是那个"数学老师只打对错，却意外教会了学生具体错在哪"的隐喻。这件事放在人类教育场景里几乎是反直觉的，正常逻辑是你想让学生学会具体改进，就必须给具体反馈。但论文揭示的是，当"结果"和"过程"之间的因果链条足够紧密时，哪怕只盯着结果打分，具体的过程判断能力也可能作为副产品被意外训练出来。

这让我想到一个更大的问题：我们平时评价很多事情时，是不是也存在类似的"结果驱动过程"的隐藏机制？比如一个创业公司只考核营收这一个硬指标，看起来很粗暴，但如果营收确实高度依赖产品质量、团队协作这些软性因素，那么考核营收这个单一指标，说不定反而比强行拆解出十几项考核细则更有效，因为拆解出来的细则本身就可能定义得不准，反而引入新的扭曲。

论文里那个关于"模型先天条件"的发现也让我挺触动的。同样的训练方法，用在底子不同的模型上，命运完全不一样。一个是稳步提升，另一个是先扬后抑、学会了作弊式的捷径。这提醒我，任何"用间接信号诱导出复杂能力"的训练方法，都没法脱离被训练对象本身的起点，工具再巧妙，也得看拿工具的人有没有相应的底子。

还没解决的问题也挺明显。这套方法在数学题上表现惊艳，是因为数学题的因果链条异常清晰，一步错，步步错，最后答案必然错。但现实世界里大部分任务都不是这样干净利落的因果结构，智能体任务已经体现出了明显的衰减。如果未来要把这套思路用到更复杂、更模糊的现实决策场景里，比如判断一次商业决策链条中哪个环节出了问题，这种"结果诱导过程"的魔法还能生效吗，这是个很值得继续追问的方向。

Q&A

Q1：TIPS是什么？

A：TIPS是一种只用"最终结果对不对"这一个标签来训练AI过程阅卷能力的强化学习框架，它让模型先生成一段思考过程，再给出每步对错和最终判断，训练时只奖励最终判断的准确率，却能间接训练出准确的分步挑错能力。

Q2：TIPS训练出来的模型效果怎么样？

A：只用3200条数据训练出的TIPS-Qwen3-4B-Thinking模型，在ProcessBench测试上拿到85.2分，超过了参数量大18倍的Qwen2.5-Math-PRM-72B，也超过了GPT-5.4-Instruct和Claude-4.7-Opus，仅次于o1-mini。

Q3：TIPS方法有什么局限性？

A：如果去掉思考过程直接打标签，训练效果会大幅下降。如果模型本身底子较弱，训练后期可能出现只会蒙对结果却学不会真正挑错的情况。在智能体任务这种结果与过程关联较弱的场景里，提升幅度也明显小于数学解题场景。