2025年底，一群研究者做了一件挺大胆的事：他们冻结了一个经过强化学习训练的大模型的全部参数，只在几个层里插入一个很小的可训练向量，然后问了一个问题——这么小的东西，能不能复现出强化学习带来的全部性能提升？

结果让人意外。

在大多数任务上，这个单一的向量，就能恢复出完整参数微调所带来的超过85%的性能增益。

这个发现听起来像是个巧合,但它其实揭开了一个一直被忽视的问题:强化学习到底对大模型做了什么?

**核心问题：强化学习是个黑箱**

这几年，强化学习（RL，Reinforcement Learning）已经成了训练大语言模型推理能力的标配手段，DeepSeek-R1、Qwen3这些明星模型背后都有它的身影。但有一件事一直很尴尬：没人说得清楚RL到底在模型内部改变了什么。

这不是故作神秘。问题出在规模上。一个几十亿参数的模型,经过RL训练后,所有参数都在微调,训练过程充满噪声,不同的训练配置（学习率、批量大小、算法选择）跑出来的模型,表面上看起来很不一样。研究者们试过从采样效率、熵变化、训练规模等角度去理解RL,但始终缺一个从"活动空间"（也就是模型处理信息时内部激活值所在的空间）去看问题的视角。

这就好比你知道一个人经过某种训练后变聪明了,也能测出他各项能力都在提升,但你完全不知道他大脑里具体发生了什么变化,是某几个脑区被强化了,还是整个神经网络的连接方式都变了。

这篇论文的研究者们换了个角度。他们不再盯着参数怎么变,而是去看模型处理信息时,那个高维的"激活空间"里到底发生了什么几何意义上的改变。而他们用来探测这个空间的工具,出奇地简单:一个向量。

向量引导*：指在模型的某些层上，给每个token的隐藏状态加上一个固定的偏移向量，这个向量不随输入内容变化，训练时只优化这个向量本身，模型其他所有参数保持冻结。

**第一个发现：压缩的极限，不是无限的**

研究者们做的第一件事,是用一个RL训练好的模型当"老师",让一个冻结的"学生"模型通过加一个共享向量去模仿老师的行为。这个过程就像给学生模型戴上一副特制的眼镜,这副眼镜不会改变学生的大脑,只是让它"看到"的东西有点不一样,但这点不一样,却能让学生表现得几乎跟老师一样好。

在数学推理、科学问答、代码生成、指令遵循这四大类任务上,无论是让学生模型自己生成轨迹再对比老师的打分（在策略蒸馏）,还是直接用老师生成的轨迹来训练（离策略蒸馏）,单个向量的恢复率都稳定在85%以上。

这件事挺反直觉的。要知道,完整参数微调动用的是整个模型的全部自由度,而LoRA（低秩适配器）用的是几百万参数级别的低秩矩阵,相比之下,一个层一个向量,参数量可能只有模型总参数的十万分之一。用这么小的代价,恢复出85%以上的性能提升,说明RL带来的改变,在很大程度上其实是"可压缩"的,它不需要那么多自由度才能表达。

但这个压缩不是没有边界的。

研究者发现,当老师模型本身不是RL训练出来的（比如只是普通SFT微调的模型）,这套向量引导就明显失效了,有些设置下甚至直接崩溃。他们进一步做了个对照实验：固定学生模型,换不同类型的老师,结果发现教师和学生之间的"分布差距"越大,固定向量的表现就越差。当差距小的时候,全参数训练、LoRA、向量引导三种方法表现差不多;当差距变大,顺序就拉开了,全参数训练最好,LoRA次之,向量引导垫底。

这个顺序其实很好理解。全参数训练可以针对每个输入做出不同的调整,是真正意义上的"看人下菜碟";LoRA虽然是低秩约束,但好歹还能根据输入内容变化;而向量引导是最死板的,无论输入是什么,加的都是同一个固定偏移量。

这就像给所有顾客推荐同一道"今日特选菜"。

如果餐厅的菜单本来就简单,顾客口味差异不大,这道特选菜能让大部分人满意；但如果来的顾客口味五花八门,有人要辣有人要清淡,那这道"一刀切"的菜肯定没法让所有人满意。不这样做会怎样？如果你非要用一个固定偏移量去逼近一个本质上高度依赖具体内容的修正,那无论怎么调,效果都有天花板,这个天花板就是"输入依赖性"没法被一个常数向量表达出来的那部分。

好在实验表明,RL训练出来的教师和原始基础模型之间的差距,恰好落在了"固定向量足够应付"的那个区间里。这也间接说明了RL对模型做的改变,可能本身就带有某种"结构化"、"方向一致"的特点,而不是完全杂乱无章的微调。

**深度的秘密：越靠近输出，固定向量越失灵**

接下来研究者们问了第二个问题：既然一个固定向量管用,那应该把它插在模型的哪一层?

答案是:不是哪一层都一样好使。

通过系统地在不同网络深度插入干预（同时对比全参数更新、LoRA和固定向量三种方式,都只调整被选中的那一层,其余层冻结）,他们发现全参数更新和LoRA在各个深度都表现稳定,但固定向量引导在浅层和中间层表现很好,一旦插到接近输出的高层,效果就明显掉链子。

这个现象一开始让人摸不着头脑。他们先去查了个最直接的嫌疑对象：梯度信号弱不弱。结果发现,浅层和高层的梯度范数其实差不多大,但最终效果却差了一大截，说明不是训练没训动,而是这种干预方式本身在高层就是不够用。

真正的原因,是研究者们后来想明白的：高层后面能经过的非线性变换层数太少了。一个向量加在浅层,后面还要经过几十层的非线性处理,这些处理可以把一个"死板"的固定偏移,转化成根据上下文千变万化的效果；但如果向量加在接近输出的位置,后面几乎没有什么层可以再加工它了,它必须直接、马上就起作用,而一个不会变通的固定向量,显然做不到"见机行事"。

这就好比你在工厂流水线的最前端放一个固定的零件调整装置,后面还有几十道工序可以消化、适配这个调整，但如果你把同样的装置放在流水线最后一道工序,产品马上就要出厂了,根本没时间去适应这个调整。前面的调整可以被后续流程"翻译"成不同产品的不同需求，最后一道工序的调整却只能原样生效,没有转圜余地。

研究者还做了个很巧妙的验证实验。他们把固定向量升级成一个带门控的非线性修正：加一个低秩的、根据当前token的隐藏状态动态调整强度的机制。结果显示,这种带"token级别感知能力"的修正,确实在高层明显改善了效果,跟教师模型的KL散度（一种衡量两个概率分布差异的指标）也降低了。更关键的是,他们还排除了"仅仅是参数变多了"这个干扰因素,用一个参数量相同、但不具备输入感知能力的静态对照组,发现静态版本根本没法复现门控版本的提升。

Rank-1门控*：一种低秩非线性修正机制，用一个共享方向乘以一个根据当前token动态计算的系数，让干预强度可以随输入变化，而不是对所有位置都施加相同大小的偏移。

这说明问题的关键不是参数够不够多,而是能不能"随机应变"。研究者进一步看了门控系数在不同层的分布：在浅层和中间层,系数散布得比较均匀,说明这是一种渐进式的调节；但在高层,系数高度集中在0和1附近,呈现出一种"要么全开要么全关"的选择性使用模式。这跟高层本身非线性转换能力有限、必须更果断地做出"用还是不用"这个决策的直觉是吻合的。

**第二个发现：有效的方向不止一个，但都躲在同一个角落**

如果说第一个发现是关于"压缩极限",那第二个发现关注的是"方向的几何结构"。

研究者设计了一个巧妙的实验：在每一层依次学习多个互相正交的向量。第一个向量训练到收敛后冻结下来,第二个向量在跟第一个垂直的空间里重新训练,以此类推,一直训练出八个互相垂直的方向。

结果是,第一个方向的效果最好,但后面几个方向也远没有"失效"。在一个1.5B模型的科学推理任务上,第一个方向独立使用时准确率是67.5%,第八个方向是62.0%,只低了5.5个百分点,而这个第八方向可是跟前面七个方向完全垂直、毫无重叠的。

这说明一件挺有意思的事：有效的调整方向,不是唯一的那一条路,而是一整片都能走得通的区域。

这让人联想到爬山，通往山顶的路不止一条。你找到第一条最快的那条路,但即使把这条路完全封死,逼你绕开它重新找路,你仍然能找到另一条也能爬到山顶的路,只是可能慢一点。研究者还发现这个现象跟模型规模有关：模型越大,高阶方向（比如第五、第六个方向）跟第一个方向的效果差距就越小,也就是说大模型里"可用的路"更多、更密。

但这些有效方向在哪?

研究者给出的答案是：它们几乎都躲在激活空间的"低方差补空间"里,也就是远离那个占据大部分方差的"主成分子空间"。

主成分子空间*：对模型某一层的激活值做主成分分析（PCA）后，方差贡献最大的那一小部分方向组成的空间，通常只占整个维度的一小部分，却集中了激活值的大部分变化信息。

他们测量了四个科学主题（物理、化学、材料、生物）上提取出来的方向,发现这些方向只有1%到2%的"能量"落在占前10%维度的主成分子空间里,远低于一个随机方向预期应有的10%。换句话说，强化学习带来的那些有效方向,系统性地避开了激活空间里最"显眼"的那部分区域。

更有说服力的是一个反向验证实验：如果强行把向量限制在主成分子空间里（也就是只保留前30%主成分方向上的分量，砍掉剩下的70%）,主成分能量占比确实从1%-2%提升到了约15%,但准确率却没有相应提高。

这个反向实验挺关键的,它排除了一种可能的误解：不是说"低方差区域"天然就是好的、"高方差区域"天然就是坏的,而是这个具体任务的有效信号就是长在低方差区域里,你把向量硬塞进主成分空间,那里根本没有它需要的信息,塞再多也没用。

这就像在图书馆里找一本冷门但对你极其重要的参考书，这本书不在最显眼的畅销书架上，你非要去最热门的那排书架上翻找，翻遍了也找不到，因为它压根不在那里。

这套方向结构还表现出了很强的一致性。研究者对比了不同训练配置（全参数训练vs不同秩的LoRA、在策略蒸馏vs离策略蒸馏）提取出来的方向,发现同一个提取序号（比如都是"第一个方向"）之间的相似度,明显高于不同序号之间的相似度。这说明不管你用什么方式去训练这个老师模型,压缩后提取出来的方向结构基本是稳定、可复现的。

更进一步,他们还发现这套方向结构的相似度,跟任务之间的能力迁移程度高度相关。他们把"科学"这个大任务拆成物理、化学、材料、生物四个子主题,分别训练RL老师,再提取各自的方向，结果显示,两个主题之间方向越相似,一个主题训练出的模型迁移到另一个主题的增益就越大，这个相关性的拟合优度达到了0.91,相当高。

这为"为什么某些任务上训练出的模型容易迁移到其他任务"提供了一个几何解释：不是因为知识内容本身相关,而是因为底层的方向结构本身就比较接近。

主成分能量占比*：衡量一个向量在主成分子空间里"藏了多少能量"的指标，数值越高说明这个向量越依赖于激活值方差最大的那部分信息。

研究者还顺带做了一个有意义的追踪实验：他们在实际RL训练过程中,持续监控策略模型和基础模型之间的激活差异有多少落在主成分子空间里（这个比例被称为主成分子空间侵入度,PSI）。结果发现,在训练稳定的阶段,PSI一直维持在很低的水平；一旦训练开始不稳定,PSI会先于分数下降而悄悄升高、变得波动；等到训练真正崩溃,PSI会急剧攀升,分数也随之暴跌。

**从发现到工具：Alpha-Stabler怎么稳住训练**

有了这两个发现,研究者们很自然地想到：既然"有效的变化应该待在低方差补空间里"这件事,跟"训练即将崩溃"存在这么强的对应关系,那能不能把这个观察变成一个实用的训练稳定化工具?

于是就有了Alpha-Stabler。

这是一个即插即用的训练框架,不需要额外的可训练参数,也不需要改动优化器、奖励函数或模型架构。它由两个模块组成：一个叫Predictor的监控器,负责持续追踪PSI指标,一旦发现它持续升高就提前预警；一个叫Controller的控制器,在反向传播时直接把激活梯度里属于主成分子空间的那部分成分砍掉,只保留在补空间里的部分。

具体怎么做？在训练刚开始的前50步,让模型正常训练,不做任何干预,同时用当前策略模型跑出来的轨迹,拿冻结的原始基础模型去评估,估计出激活协方差。校准完成后,提取出协方差矩阵里占前10%维度的主方向,把这个基准固定下来,后续训练全程都用这个固定基准去判断"现在的激活偏移有没有闯入主成分区域"。

一旦Predictor检测到PSI连续多次超过警戒线,Controller就会在反向传播时,把流向该层的梯度在主成分子空间上的分量清零,只让补空间的梯度分量继续传播。这个操作不改变前向传播,也就是说模型当下的输出不受影响,但后续的参数更新方向会被"扶正"。

这就像给一辆车装了一个智能的方向盘限位器。车辆正常行驶时限位器完全不介入，但一旦检测到车辆开始往危险的方向偏（比如突然打死方向盘冲向护栏），限位器就会介入，只允许方向盘在安全范围内转动，而不是完全锁死方向盘不让你开车。如果没有这个限位器，司机一旦分神或者失误，车子就直接冲出去了，没有任何缓冲和纠正的机会。

实验结果显示,这套方法确实管用。在1.5B和7B模型上,未加控制的训练出现了明显的PSI飙升和分数骤降,这种崩溃通常发生在几百到上千步之间；而加了Alpha-Stabler之后,PSI始终维持在训练早期的正常区间附近,分数则持续稳步上升,整个过程可以稳定跑到2000步。

研究者还做了三组消融实验来验证这套机制的设计是否合理。

第一组测试不同学习率下的表现,结果在所有测试的学习率下,未加控制的训练最终都会崩溃,而加了控制的训练始终把峰值PSI控制在个位数百分比以内,并且最终分数相近,说明这套方法对学习率的选择不敏感。

第二组对比不同的触发时机,发现"触发式控制"（检测到风险才介入）和"全程持续控制"表现几乎一样,但如果故意延迟介入时间,分数会随着延迟逐渐变差,峰值PSI也会跟着升高,说明及时响应很重要,但不需要无差别地全程干预。

第三组是最关键的：对比控制不同子空间的效果。结果显示,只有移除主成分子空间（Top-PC）的梯度分量才能取得最好的效果,而控制随机子空间、中间主成分子空间或者低方差子空间的尝试,效果都跟完全不控制差不多，甚至全局梯度裁剪这种常见的稳定化手段,效果也不如针对性的主成分投影。

这个结果挺重要的,它说明Alpha-Stabler起作用,靠的不是"随便压制一部分梯度"这种粗暴操作,而是精确瞄准了那个真正跟训练崩溃相关的几何区域。

**写在后面**

读完这篇论文,最让我意外的不是Alpha-Stabler这个工具本身,而是一个更基础的事实：一个几十亿参数模型经过强化学习训练后发生的复杂变化,居然可以用一个几万参数的向量恢复出85%以上。这个比例差距大到有点不真实,十万分之一的参数,复现出八成以上的能力提升。

这让我想起一个问题：我们是不是经常高估了复杂系统改变自身所需要的"自由度"?深度学习领域里,过参数化模型一直被认为是必要的,但这篇论文从另一个角度提示,也许真正起作用的改变,本身就是低维的,只是我们一直在用高维的工具去逼近它,顺手也带进去了很多冗余。

还有一个细节值得单独说一说：PSI指标随着训练崩溃而升高的那组曲线图，在崩溃真正发生之前，PSI的波动就已经开始变大了，这个"波动增大"先于"分数下降"的时间差,恰好给了Predictor模块一个提前预警的窗口。这让我联想到地震预警系统的原理，真正的大震发生前，地壳其实已经有一些微弱的、容易被忽略的前震信号。Alpha-Stabler做的事情,某种程度上就是在模型训练的"地壳运动"里,找到了那个微弱的前震信号。

论文里也坦诚承认了局限：这套理论框架建立在一系列经验性假设之上,还没有从第一性原理推导出来；而且目前的验证只局限在数学推理、代码生成这类有明确对错标准的任务上，RLHF（基于人类反馈的强化学习）、多轮智能体决策这些更复杂的场景,是否也符合这套几何规律,还是一个开放问题。

如果强化学习改变大模型的方式真的像这篇论文揭示的那样,是在一个低维、远离主方差的角落里悄悄完成的,那么下一个值得追问的问题或许是：这个角落里到底藏着什么样的信息结构,为什么偏偏是这里,而不是那个看起来更"重要"的主成分空间？

Q&A

Q1：向量引导是什么，为什么能恢复RL带来的性能提升？

A：向量引导是在冻结模型的某些层输出上加一个固定的、不随输入变化的向量，只训练这个向量本身。实验发现这种方式在多数任务上能恢复RL微调超过85%的性能增益，说明RL带来的改变在很大程度上是可压缩的。

Q2：为什么固定向量在模型高层插入时效果会变差？

A：因为高层后面经过的非线性变换层数太少，固定向量无法被后续层"翻译"成随上下文变化的效果。研究者通过引入输入依赖的门控机制验证了这一点，加入动态调整强度的非线性修正后，高层的效果明显改善。

Q3：Alpha-Stabler是做什么用的，怎么防止RL训练崩溃？

A：Alpha-Stabler是一个即插即用的训练稳定化框架，包含监控主成分子空间侵入度的Predictor和在反向传播时移除梯度主成分分量的Controller。实验显示它能让RL训练稳定运行2000步，而未加控制的训练通常会在中途崩溃。