有个场景你可能遇到过。孩子做数学题，做错了八道题,老师只会在卷子上打个大大的叉,然后呢？然后就没有然后了。孩子不知道自己错在哪,只知道结果是错的。

现在想象另一种老师,她会蹲下来问:你当时是怎么想的？然后告诉孩子,下次遇到这类题,你脑子里要先冒出哪个念头。

这篇来自Salesforce AI Research的论文，讲的正是怎么让AI从"打叉"式学习，变成"蹲下来问你怎么想"式学习。

**强化学习的死角：当所有答案都一样烂**

现在训练AI智能体（能调用工具、能跟环境交互的大模型）最主流的方法叫做RLVR。

可验证奖励强化学习*：让AI完成一个任务后，用一个自动的裁判（比如数学答案校验器、代码单元测试）给它打分，正确给1分，错误给0分，然后根据这个分数去调整AI的行为倾向。

这套机制有个底层逻辑：同一个问题，让AI采样好几次（比如8次），然后比较这几次的得分高低，表现好的那次就被强化，表现差的就被削弱。这叫**群组相对优化**，GRPO算法就是这么干的。

问题出在哪？如果这8次全对，或者全错，这套比较机制就彻底失灵了。

你可以这样想：一个班主任想通过"对比优秀生和差生"来总结教学经验，可要是这次考试全班都考了100分，或者全班都考了0分，他就什么规律都总结不出来，因为没有对比。

论文里给了一个很扎心的数据：在他们扫描的686个训练分组里，**47.2%的分组是"同质的"**，要么全对（22.6%），要么全错（24.6%）。模型越弱，越容易全军覆没；模型越强，越容易全部通关。无论往哪个方向走，奖励信号都会在某个阶段彻底消失。

更极端的例子是2B参数规模的模型，训练到后期，**98%的分组都是全错**。这意味着什么？意味着RLVR这台学习机器，98%的时间都在空转,它采了样，跑了程序，耗了算力，却拿不到任何能推动自己进步的信号。

实验结果也印证了这一点：用纯RLVR训练这个2B模型，最终成功率是0.0%，彻底训练失败了。

但这些失败的轨迹真的毫无价值吗？论文的作者们不这么认为。一次失败的代码调试，哪怕最后答案是错的，过程里也暴露了很多信息：这个模型读漏了哪部分输入格式，死循环卡在了哪个逻辑分支，调用工具时传错了什么参数。这些信息,奖励信号是0，但认知信息量绝对不是0。

**回溯式学习的局限:它只会告诉你"应该做什么"**

在SRD之前，已经有一类方法试图从完整轨迹里多榨取一些信息，叫做在线自蒸馏（On-Policy Self-Distillation，简称OPSD）。

它的做法是:让同一个模型既当老师又当学生。老师版本可以偷看"标准答案"或者成功的解题过程，学生版本看不到，只能凭自己摸索。然后让学生去模仿老师在同一段文字上的概率分布，这叫token级蒸馏。

这个思路挺聪明的，相当于给学生开了"小灶"，用一个"开了天眼"的自己去教另一个"蒙着眼"的自己。

但这里有个关键的设计盲区：无论老师掌握的特权信息是什么（可能是正确答案，可能是运行时反馈，可能是技能总结），它监督的对象永远是同一个东西，学生"接下来应该怎么做"，也就是行动策略本身。

论文作者提出了一个很犀利的反问：事后的经验，能不能不是用来告诉AI"你现在该怎么做"，而是用来告诉AI"你在开始行动之前，其实可以提前预见到这些"？

这就是整篇论文最核心的概念转向，叫做**前瞻式学习**（Prospective Learning）。

它和传统的"回溯式学习"（Retrospective Learning）本质区别在于监督的靶子不一样：回溯式学习拿事后经验去打磨"行动"这件事；前瞻式学习拿事后经验去打磨"预判"这件事,也就是AI在还没真正动手之前，脑子里应该已经预先有什么准备。

打个比方，一个律师打完一场官司，复盘的时候有两种做法。一种是记住"下次遇到这种证据应该这样反驳"，这是在改进具体操作手法。另一种是记住"下次接到这类案子，开庭前我就该先想到对方可能会打感情牌"，这是在改进开庭前的心理预判。前者是回溯式的行动修正，后者才是前瞻式的预判校准。SRD做的就是后面这件事。

**自我回溯蒸馏：让AI提前预演"坑"在哪**

基于前瞻式学习这个理念，论文提出了具体的实现方法，叫做**自我回溯蒸馏**（Self-Retrospection Distillation，简称SRD）。

它的核心机制说起来并不复杂,对每一条AI自己跑出来的轨迹，构造两个版本的预测。

一个叫"预见"（foresight），是AI在还没看到任务具体怎么展开之前，仅凭题目本身和环境信息，去预判这个任务可能需要什么知识、可能会踩什么坑。

一个叫"后见"（hindsight），是同一个AI，这次被允许看到真实跑完的轨迹，再重新生成一遍同样的预判内容。

然后SRD做的事情，就是让"预见"的概率分布去逼近"后见"的概率分布,用一个带特权信息的自己，去纠正一个不带特权信息的自己的预判习惯。

这里有个设计细节很值得说一下。SRD把预判拆成了两条通道：一条叫KNOWLEDGE（知识通道），专门从成功的轨迹里提炼"这类问题需要用到什么原理"；一条叫PITFALL（陷阱通道），专门从失败的轨迹里提炼"这类问题容易在哪里栽跟头"。奖励是1还是0，决定了这条轨迹该教AI知识还是该教AI避坑，但不管奖励是什么，这条轨迹都能产出训练信号。

这正是SRD能绕开GRPO死角的关键所在。GRPO需要组内有对比才能算出梯度，而SRD根本不需要对比,它让每条轨迹自己跟自己的"事后聪明版"比较。哪怕8条轨迹全军覆没，每一条失败轨迹依然可以生成一条PITFALL教训，依然可以产生学习信号。

还是用考试打比方。GRPO像是只能靠年级排名来判断自己考得好不好,如果这次全年级都考砸了，排名毫无意义。而SRD更像是，每个学生自己交卷之后，立刻拿着参考答案重新做一遍，然后对比"刚才蒙的时候的思路"和"现在对着答案才想明白的思路"之间的差距，这种比较方式不需要跟任何人比，自己就能完成。

**实验说话：数字比故事更有说服力**

这篇论文在10个工具调用推理和长程智能体任务上做了验证，覆盖数学、代码、搜索、具身智能体四大类，训练了4B和9B两个参数规模的模型。

先看最震撼的那个数字：在2B模型、98%分组全是失败的极端条件下，纯GRPO训练到最后成功率停在0.0%，而加上SRD之后，训练成功率冲到了**60.6%**。这不是小修小补，这是从彻底失败到基本可用的跨越。

再看更常规的场景。在4B模型上，GRPO加上SRD之后，数学类任务平均提升10.03个百分点，代码类任务提升8.33个百分点，搜索类任务提升8.05个百分点。agentic任务里，ALFWorld提升3.25个百分点，WebShop提升5.92个百分点。

9B模型的表现更有意思。纯OPSD（前面说的那种"开小灶"自蒸馏）在9B规模上居然比4B规模还差,AIME24从62.5%掉到54.17%，这说明单纯依赖回溯式蒸馏，模型做大了反而可能更不稳定。加上SRD之后，这个诡异的"越大越差"现象被纠正过来了，9B版本的OPSD+SRD在AIME24上达到72.92%，AIME26达到77.08%，数学三项基准全部实现了随模型规模单调提升。

还有一个跨场景迁移的细节值得一提。训练用的代码题是stdin输入格式，评测时特意换成了functional格式(相当于考试时突然换了题型）,SRD依然带来8.33个百分点的提升。BrowseComp-Plus这个基准的工具调用轮数是训练时的10倍以上，SRD在六个设置里有五个都有提升，最多提升9.52个百分点。这说明SRD学到的不是针对某种固定格式的套路，而是某种更本质的预判能力。

论文里还专门做了一个消融实验，对比PITFALL和KNOWLEDGE两条通道各自的贡献。结果发现，光用PITFALL通道基本就够了，再加上KNOWLEDGE通道，有时候甚至会拖后腿（比如在AMO-Bench上4B模型掉了4个百分点），训练过程中KNOWLEDGE通道的散度一直居高不下、拟合不动，而PITFALL通道的散度随训练稳步下降47%。这个结果其实挺符合直觉的,毕竟"这类题别踩的坑"往往比"这类题可能需要的知识"更具体、更可操作。

**为什么蒸馏目标的转移会让策略更新方向发生偏移**

论文里有一组很细腻的分析，叫作策略位移的分解实验。简单说，就是把加了SRD前后的策略变化，拆解成"跟原来RL方向一致的部分"和"跟原来RL方向垂直的部分"。

结果发现一个挺有意思的不对称现象：对GRPO这种本来信号就很稀疏的方法，加上SRD之后，策略沿着GRPO原本前进的方向又多走了30%，相当于SRD在给原本就稀缺的信号"加油"；而对OPSD这种本来就是密集蒸馏信号的方法，加上SRD之后，策略反而朝着同一个方向走得更短了，相当于SRD在给原本就很猛的信号"踩刹车"，起到锚定的作用。

这就好比给一辆车加油。如果这辆车本来发动机动力不足（稀疏信号的GRPO），加一脚油门，车跑得明显更远。但如果这辆车发动机本来就很强劲、容易冲过头（密集信号的OPSD），这时候"加的油"其实变成了一种约束，让车不至于偏离原本的车道太远。同一个操作，在不同底盘上产生完全相反的效果,这提醒我们，任何辅助训练目标的作用，都得结合它要搭配的主目标一起看，不能脱离语境谈好坏。

**测试时要不要把"预感"说出来**

论文还有一个很接地气的追问：既然SRD训练出来的是一种"预判能力"，那这个预判要不要在实际使用时也显式地说出来？也就是让AI在真正动手之前，先打印一段"我预计会用到什么知识、我可能会踩什么坑"，再开始干活。

答案出人意料地暧昧。在GRPO这条线上，显式说出预判之后，结果是稳定提升的。但在RLSD这条混合方法上，效果却翻车了，加上KNOWLEDGE通道的显式预判之后，分数反而掉了6.88个百分点。论文推测，这可能是因为RLSD本身已经带了一个自蒸馏项，再叠加一个显式说出来的预判，相当于两个"自己打自己样本"的目标互相打架了。

更麻烦的是，论文发现一个具体案例：某个双物体搬运任务里，AI显式预判时把"一次只能拿一件物品"这个限制错误地安在了目的地容器上（以为是目的地装不下两件），而真实的限制其实是在AI自己身上（手里只能拿一件东西)。这种错误的预判，如果只是训练时的一个靶子，后续更新还能纠正它；但如果是说出来挂在嘴边、真要去执行的东西，这个错误判断就会实打实地左右整个任务走向。

这件事给出的提醒是，让AI学会预判是一回事，让AI把预判说出来又是另一回事,前者几乎总是有益的，后者得看具体和哪个训练目标搭配，风险也是实打实存在的。

写在后面

读完这篇论文，最触动我的其实不是那个60.6%对0.0%的数字，虽然那确实很震撼。真正让我停下来想了很久的，是论文里那个"信息量不等于奖励量"的观察。

我们习惯性地把"学习信号"等同于"对错反馈"，这个假设根深蒂固到我们几乎意识不到它。但这篇论文用很具体的方式证明了：一条0分的轨迹里，可能藏着大量关于"这个任务长什么样子"的结构信息,只是传统的强化学习框架没有渠道去读取它。这让我想到教育领域一个老生常谈但始终没被真正解决的问题:标准化考试用一个分数概括一次学习过程，而这个分数背后的"为什么错"，往往比分数本身更值钱，却最先被丢掉。

还有一个细节我觉得特别值得单独拎出来说。论文作者坦诚地提到，他们早期的一次分析用错了数学公式，得出了"SRD更新方向和RL更新方向是反向的"这个结论，后来发现是因为两个向量共享了一个公共项，导致余弦相似度公式天然不可能为正。他们专门留了一个附录章节来撤回这个说法，重新计算后发现真实情况恰恰相反,两者74%是对齐的。一篇论文愿意专门开一节讲自己撤回了什么，这种坦诚本身，比论文的任何一个漂亮数字都更让人信任这项研究。

这篇论文还留了一个没关上的口子，就是那个"说不说出预判"的矛盾结果。如果显式预判有时候帮忙、有时候添乱，那到底是什么在决定它帮忙还是添乱？这背后或许藏着一个更大的问题：AI的"自我认知"和它的"实际行动"之间，什么时候应该紧密耦合，什么时候反而需要留一点距离？

Q&A

Q1：自我回溯蒸馏SRD是什么？

A：SRD是Salesforce AI Research提出的一种训练方法，核心思路是让AI用事后才能看到的完整轨迹信息，去训练它在动手之前就能做出的预判，分为预判知识的KNOWLEDGE通道和预判陷阱的PITFALL通道，不依赖组内奖励对比，哪怕一组轨迹全部失败也能产生训练信号。

Q2：SRD解决了强化学习训练AI智能体时的什么问题？

A：解决了群组相对优化方法GRPO的奖励失效问题。当一组采样轨迹全对或全错时，GRPO算法算不出任何梯度，等于白白浪费了采样成本。论文统计显示近半数训练分组存在这种情况，极端情况下98%的分组全军覆没，而SRD可以从这些被浪费的轨迹里继续提取学习信号。

Q3：SRD在实际测试中效果如何？

A：在10个工具调用推理与智能体任务上，SRD给GRPO、OPSD、RLSD等方法都带来了提升，最高提升24.2个百分点。最极端的例子是2B模型在98%分组全失败的条件下，纯RLVR训练成功率停在0%，加上SRD后训练成功率达到60.6%。