你有没有想过这样一个问题：如果你同时请了三位家教来辅导孩子，一位数学特别强，一位物理特别强，一位英语特别强，你应该让孩子把这三位老师的全部习惯都学过来，还是只学他们各自"后来变强"的那部分本领？

这听起来像个无聊的哲学问题，但在人工智能训练模型的世界里,这个问题正变得越来越实际,也越来越棘手。

今天要聊的这篇论文,就是专门来回答这个问题的。它的名字叫做"composing what each teacher learned",翻译过来大概是"组合每位老师真正学到的东西"，而不是"组合每位老师现在的样子"。这个区分看起来微妙，但背后藏着一个此前被整个领域忽略的坑。

**老师教学生,到底传递了什么**

先说说背景。

现在训练一个小模型（我们叫它"学生"），常用的办法叫做在策略蒸馏。

在策略蒸馏：让学生自己生成答案（也就是"自己做的作业"），然后请一个已经训练好的大模型（老师）给这些答案打分，学生再根据打分调整自己。这和传统蒸馏不一样,传统蒸馏是直接把老师写好的范文甩给学生抄,学生从来没在自己真实做题的场景里被纠正过。

这个思路挺聪明的。学生犯的错误往往是自己特有的错误,如果老师只盯着自己写的范文教,根本碰不到学生真正会踩的坑。而在策略蒸馏让老师就站在学生做题的现场,盯着学生自己写出来的那句话打分,这才叫对症下药。

问题来了。现实里哪有一个老师什么都会？

公开发布的那些强力模型,往往各有专精：有的数学特别强，有的更擅长科学推理和听指令。于是研究者们开始琢磨，能不能同时请好几位专家老师来教一个学生,这就是多教师在策略蒸馏，论文里简称MOPD。

MOPD（多教师在策略蒸馏）：让多个专精不同领域的教师模型，同时或分别指导一个学生模型学习，目的是把几位专家的本领拼到一个模型身上。

MOPD在实践中主要有两种用法。第一种叫同域组合，就是针对同一类题目（比如都是数学题），把所有老师的打分都收集起来,融合成一个综合的目标信号,一起教学生。第二种叫路由式分域蒸馏，不同领域的题目分给对应的专科老师,数学题归数学老师管,科学题归科学老师管,每道题只有一位老师发声。

这两种用法都有一个共同的"默认操作"，几乎所有人都这么做,也从来没人质疑过。

**被忽略的坑：老师的"现在"里藏着老师的"出身"**

这个默认操作是什么？

是把每位老师训练完成后的那个最终状态，直接当作要传授给学生的东西。听起来理所当然，老师现在什么样,就教学生变成什么样,还能有什么问题吗？

问题恰恰出在这里。

一个专精数学的老师模型，它现在的样子，并不是凌空出现的。它是从某个基础模型出发,经过专门的强化训练,才变成现在这个数学高手的。这个过程里混进来两种完全不同的东西：一种是训练过程中真正学到的新本领(比如更强的推理能力),另一种是它从出发点那个基础模型身上继承下来的老习惯(比如说话啰嗦、某些表达偏好)。

论文里把这个终点状态称为endpoint（终点）。

Endpoint（终点）：指一个教师模型经过专门训练后的最终版本,它既包含训练阶段真正学到的新能力,也包含了从训练起点（基础模型）那里继承下来的旧习惯和偏好。

你把这个终点原封不动地教给学生，相当于把老师的新本领和旧习惯一起打包塞给学生，哪怕学生自己的出发点,跟这位老师的出发点根本不是同一个模型。

这就是整篇论文揪住不放的那个核心矛盾。原来的MOPD方案之所以没碰到这个坑，是因为论文里提到,最早的MOPD设计里,所有老师用的起点和学生用的起点是同一个模型,大家出身一致,这个差异问题自然就不存在。但现实世界里公开发布的那些专家模型,出身五花八门,这个假设早就站不住了。

**换一种传法：只教"变化量"，不教"终点"**

研究者们提出的解法,叫做?-MOPD（读作delta-MOPD），这个名字里的?就是数学里常用的"变化量"符号。

核心思路说出来其实很简单：不要直接把老师现在的终点状态教给学生,而是先算出"这位老师从它自己的起点到现在,到底发生了什么变化",再把这个变化量,重新安放到学生自己的起点上。

用论文里的符号写出来，终点式教法是这样的：学生的目标状态等于学生起点,加上每位老师(终点减去学生起点)的总和。而?-MOPD的教法是：学生的目标状态等于学生起点,加上每位老师(终点减去那位老师自己的起点)的总和。

两个公式看起来就差一个字母，一个用的是学生自己的起点A去对比老师的终点,一个用的是老师自己的起点B去对比老师的终点,但这一个字母的区别,把老师继承下来的那部分"遗产",干干净净地剔除出去了。

论文里还给出了一个很直观的几何图景（原文的图1）。想象每个模型是空间里的一个点,老师从自己的起点出发,经过训练走到终点,这一段路程就是这位老师真正"学到的东西"。终点式教法是直接把老师的终点坐标，连带它出发点和学生出发点之间的那段差距一起打包给学生；而?-MOPD干的事情,是把老师走的那一段路,原样挪过来,接在学生自己的起点上，相当于让学生从自己家门口出发,走一段跟老师等长等方向的路,而不是被硬拽到老师家门口。

这里要澄清一点，论文说得很清楚，这个"变化量"（也就是老师的shift）是把训练过程中的所有变化都原样保留的，不管是真正的推理能力提升,还是说话风格、校准方式上的改变,这个方法并不区分哪些是"该学的能力"哪些是"不该学的习惯",它只是去掉了"继承自基础模型的那部分差异"，而对训练过程中产生的全部变化,不作区分地保留。

打个比方，你请了一位健身教练,这位教练本身是从某个运动员转型过来的,身上带着运动员特有的某些习惯动作。如果你直接照搬教练现在的全部训练方式,你练出来的可能不只是教练这几年真正积累的新方法,还顺带学了他从运动员时期带过来的、未必适合你的旧习惯。而?-MOPD要做的事情，是先搞清楚这位教练从运动员转型到现在这几年里到底精进了什么,再把这段"精进"原样套用到你自己现在的身体条件上，而不是让你去模仿一个带着陌生基因的终点形态。

如果不这样做会怎样？

论文给出了非常扎实的数字。在实验中,研究者比较了终点式教法和?-MOPD在训练信号层面的差异,发现在终点式教法下,老师继承自基础模型的那部分"遗产拉力"的梯度，大约是真正训练变化的梯度的两倍（论文里用一个叫Γbase的指标衡量,数值接近2）。

也就是说，模型在学习初期,接收到的信号里，有一大半力气其实是在被动模仿老师的"出身"，而不是在学习老师真正练出来的本领。

**一个"遗产拉力"占大头的真实证据**

论文做了一组很细致的诊断实验，专门把这个问题的严重程度量化出来。

实验用的学生模型和锚点是DeepSeek-R1-Distill-Qwen-1.5B，论文里提到的几位教师角色里,有一位名叫Polaris-7B的数学专家模型，它的基础模型是一个7B规模的更大模型,和学生的1.5B起点并不是同一个模型,这就构成了论文里说的cross-origin（跨源）情形。

Cross-origin（跨源）与same-origin（同源）：如果一位教师模型的训练起点和学生的起点是同一个模型，就叫同源,这时候终点式教法和?-MOPD教的东西完全一样,没有区别；如果教师的起点和学生起点不是同一个模型，就叫跨源，这时候两种教法才会产生实质性的差异。

研究者把Polaris这位跨源老师和另一位叫Nemotron的同源老师放在一起,组成一个两教师的组合实验。衡量的指标叫做teacher-term norm ratio，也就是两位老师在最终教学目标里所占的"份量比例"。

结果是,用终点式教法,两位老师的份量比例是5.2比1，意味着其中一位老师的声音几乎盖过了另一位,学生实际上听到的更多是一位老师在喊话，另一位几乎被淹没。而换成?-MOPD之后，这个比例变成了1.44比1，接近均衡发声的状态。

论文里还用了一个叫target-student KL的指标，衡量的是最终的教学目标,离学生当前的状态有多远。

KL散度：一种衡量两个概率分布有多"不像"的数学指标，数值越小表示两个分布越接近,数值越大表示差异越大。在这篇论文里,它被用来衡量"要教给学生的目标"和"学生现在的状态"之间差了多远。

终点式教法下这个数值是0.152，换成?-MOPD之后降到0.031，差了大约五倍。换句话说，?-MOPD给出的教学目标,是一个离学生现在的能力水平更近、更容易被学生实际吸收消化的目标，而终点式教法给出的目标,相对来说要"遥远"得多,学生要花更大力气才能够得着。

这个"够得着"的差距，直接体现在了训练效率上。论文报告，用?-MOPD训练出来的模型，达到终点式教法在数学测试上取得的最佳成绩，所花费的计算资源（论文用H100显卡的小时数衡量）少了35%。

想象一下你要去同一个目的地，一条路是绕远路但是你走惯了的熟路，另一条是看起来更近但你完全不熟悉需要反复问路的生路。?-MOPD铺的是前一条路，终点式教法铺的是后一条，目的地也许一样,但到达所需要花的脚力和时间，差了一大截。

**三位老师同时教，谁的方法更吃得开**

单个跨源老师的情形搞清楚了，接下来的问题是，当好几位老师同时站上讲台,各说各话时,两种教法谁更能让学生真正学到东西。

论文设计了一组对比实验,逐步增加同时授课的老师数量。先是两位老师（Nemotron和Polaris）同时教,这时候两种教法打成平手，?-MOPD在综合准确率上是44.91%,终点式教法是45.14%,互有胜负,基本持平。

但当老师数量增加到三位（加入了一位叫JustRL的同源数学老师）之后，差距显著拉开了。?-MOPD的数学成绩比终点式教法高出4.11个百分点，在涵盖五个测试项目的综合成绩上也高出1.95个百分点。

更值得注意的细节是，新加入的JustRL老师是同源的，也就是说它对两种教法而言,贡献的教学信号是完全一样的,没有任何差异。真正造成差距的，是加入第三位老师之后，Polaris这位跨源老师的"份量"在两种教法下的变化。

在终点式教法下，加入第三位老师后数学成绩只提升了0.43个百分点，几乎可以忽略；而在?-MOPD下，同样加入这位老师后，数学成绩直接提升了4.40个百分点。

这组数字背后透露出一个很重要的信息，不是加不加老师的问题，是加进来的这位老师,他的声音能不能被真正听进去。终点式教法里,Polaris自带的那份"遗产拉力"占据了太多份量,挤占了其他老师发声的空间,导致新增老师带来的边际收益很小；而?-MOPD去掉了这份遗产拉力,给每位老师留出了相对公平的发声空间,新增老师才真正带来了实打实的提升。

这就像一个会议室，如果有一个人每次发言都要先花十分钟介绍自己的家庭背景（这些背景信息对本次会议毫无帮助），再花两分钟说正事，那么无论会议室里再增加多少位发言者，大家实际能听到的有用信息总量都增长缓慢，因为每次发言的大半时间都被无关的自我介绍占据了。?-MOPD做的事情，就是请每个人直接说正事，把背景介绍环节直接删掉，这样会议室里增加的每一位发言者,才能真正带来增量信息。

需要说明的是，这个提升并不是没有代价的。论文也诚实地指出，在三教师组合实验中，科学和指令遵循类的成绩在?-MOPD下反而比终点式教法低了1.29个百分点，原因是这次实验里科学和指令遵循类的题目没有被纳入训练的提示范围内。这不是一个完美无瑕的胜利，而是在数学能力上取得的显著提升,伴随着科学能力上的轻微损失。

**换一个跨语言体系的老师试试**

论文还做了一个颇具挑战性的延伸实验，看看这个思路能不能用在连分词方式都不一样的老师身上。

研究者加入了第四位老师，名叫Qwen3-DAPO-449，它的基础模型是Qwen3-8B，使用的分词体系（tokenizer）跟学生用的分词体系并不完全兼容。

Tokenizer（分词器）：把一段文字拆解成模型能处理的最小单元（叫做token）的工具，不同模型家族往往用不同的分词器，这意味着同一个词在两个模型眼里可能被拆成完全不一样的碎片，直接比较它们的内部状态就会出问题。

分词体系不兼容意味着没法直接套用?-MOPD的公式，因为公式里需要把不同模型的输出对齐到同一套词表上才能相减。研究者的解法是先在Qwen3这个家族内部，计算出这位新老师相对于它自己基础模型的变化量，然后只把两边词表里真正重合的那部分词汇对应的变化量，投射挪用到学生的词表上，重合不到的部分就直接舍弃不用。

论文里提到，验证之后发现两个词表之间有151660个词汇是完全重合的，整体重合度相当高，只有少数几个特殊标记（比如用来标记"思考开始""思考结束"的符号）需要额外处理。

加入这位跨语言体系的第四位老师之后，三项数学测试的成绩全部进一步提升，数学综合成绩又多涨了3.32个百分点，五项综合测试的成绩多涨了1.85个百分点。

这个结果有点出乎意料，因为按照常理，分词体系不兼容应该意味着这位老师的知识很难被干净地搬运过来，大量信息在投射过程中应该会损失掉。但即便只用上了重合词表这一小部分信息，依然带来了实打实的提升，这说明?-MOPD这套"只学变化量"的思路，有相当强的鲁棒性，即便传输管道本身不完美，也能挤出有用的信号。

**换一种授课安排：轮流上课还是分段上课**

前面讲的都是几位老师同时给同一道题打分的情形，论文还测试了另一种更贴近现实教学安排的场景，叫做路由式分域蒸馏。

在这种安排里，数学题统一交给Polaris打分，科学和指令遵循类的题目交给Nemotron打分，每道题只有一位老师在场。

论文又细分出两种具体的排课方式。第一种叫交替路由，每一批训练数据里，各领域的题目混在一起同时出现，相当于老师轮流随机登场；第二种叫分阶段路由，先把一个领域的题目集中训练完，再切换到下一个领域，相当于先上完一整个学期的科学课，再上一整个学期的数学课。

在交替路由这种安排下，两种教法（终点式和?-MOPD）的表现相当接近，五项综合测试成绩只差0.62个百分点。这个结果其实验证了前面那条逻辑的反面，因为每次更新只涉及一位老师，不存在"多位老师份量不均衡"的问题,?-MOPD想解决的那个矛盾在这里本来就不存在，自然两种教法就打平了。

但在分阶段路由这种安排下，情况变得有意思。论文测试了两种授课顺序，先科学再数学，和先数学再科学。结果显示，无论哪种顺序，?-MOPD的平均表现都更高，而且更关键的是，两种顺序之间的成绩差距明显缩小了，从终点式教法下的10.50个百分点，缩小到?-MOPD下的6.42个百分点。

这个发现挺有意思的，它暗示着?-MOPD带来的好处，可能不只局限于"同一时刻几位老师同时发声"的场景，还能延伸到"不同阶段的学习效果如何累积叠加"这个更长线的问题上。

打个比方，如果你先学了半年某位外教的发音习惯，再换另一位外教学语法，用终点式教法相当于每一科结束后,你身上都带着那位外教完整的个人风格和习惯，这些习惯会在你切换到下一科时持续产生干扰；而?-MOPD相当于你只带走每一科"真正学到的知识点"，不带走任何一位外教的个人习惯，所以不管你是先学发音还是先学语法，最终积累下来的知识总量更稳定，不太受排课顺序的影响。

论文对这一点的表述相当谨慎，用的是"提供了支持性证据，暗示好处可能延伸到跨阶段累积的信号上"这样留有余地的措辞，而不是斩钉截铁地宣称已经证实。这是一种值得尊重的科研态度，不夸大，不过度推断。

**这个方法要付出什么代价**

读到这里你可能会觉得?-MOPD简直是全优解，但论文自己也坦诚地列出了限制。

第一个限制是，这套方法需要拿到每一位教师模型训练之前的那个基础模型（也就是论文里反复提到的precursor，前驱模型），如果某位教师模型发布方根本没公开它的训练起点是什么，这套方法就无从下手，而传统的终点式教法完全不需要知道老师的来历，是真正意义上的黑箱蒸馏。

第二个限制是分词体系的兼容性问题，前面提到的跨语言体系扩展实验,虽然证明了可以通过投射重合词汇来绕过这个障碍，但这终究是一个近似方案，论文自己也承认这种处理方式比起更精细的文本片段级别对齐方法要粗糙一些。

第三个比较深层的限制，论文在讨论部分提到，?-MOPD里的"份量比例"反映的是训练变化的幅度和模型表达这种变化时所用的"尺度"的混合结果，不同模型在输出时的置信程度、校准方式本身就有差异，这篇论文的方法并没有去校准这种差异，这意味着未来如果要进一步提升这套方法，校准不同模型置信度尺度这件事，是一个值得补上的功课。

**这个思路还能往哪儿走**

论文在相关工作部分提到了几条值得关注的脉络。

有一类工作专门研究"差值"作为迁移对象这件事，比如论文提到的Heo等人2026年的工作探索了单一教师场景下的在策略增量蒸馏，还有Feng等人、Yang等人的工作分别探索了弱到强泛化和奖励外推式的蒸馏方法，这些工作都是在单一教师的设定下验证"学变化量而非学终点"这个思路是否有效，而这篇论文把这个思路第一次系统地推广到多教师场景，并且在同域组合和分域路由这两种常见用法下都做了验证。

另外还有一条脉络是任务算术（task arithmetic），这类工作探索的是在参数空间或者logit空间里直接做加减运算来编辑模型行为，论文提到的Ilharco等人2023年的工作就是这个方向的代表，这篇论文可以看作是把类似的"算术组合"思想，搬到了在策略蒸馏这个更具体、更贴近训练实际的场景里来验证。

论文也提到了几项同期在多教师蒸馏领域工作的方向，比如研究路由策略、研究教师之间信号互相抵消（counteraction）的问题，以及级联覆盖的问题，这些工作关注的都是"该让哪些老师在什么时候发声"这个教师选择的问题，而这篇论文反复强调的是，它关注的是一个完全独立的维度，不是选哪些老师，而是每位被选中的老师,你教给学生的到底应该是他的什么。这两条维度互相独立,互为补充,未来的工作完全可以把两者结合起来一起优化。

写在后面

读完这篇论文,最让我意外的其实不是?-MOPD这个方法本身，公式写出来确实简洁，减去一个基础模型的终点,再加回学生自己的起点,这个操作直观上并不难想到。

真正让我多想了一会儿的，是那个Γbase接近2的数字。

它意味着在原来大家习以为常的终点式教法里，模型在学习初期，接收到的训练信号，有一多半的力气其实根本不是在学"老师真正练出来的本领"，而是在被动模仿老师出身带来的无关习惯。这件事情此前似乎没有人认真量化过，大家默认"老师现在什么样,学生就该往那个样子靠近",却没有人停下来问一句,这个"现在的样子"里,到底有多少成分是老师出身自带的,又有多少是老师真正后天修炼出来的。

这让我想到一件完全不相关的事情。我们评价一个人的时候，常常也会犯类似的错误，把一个人"现在表现出来的样子"，当成他"真正努力获得的东西"，却忽略了那个人出身自带的起点优势或者劣势。一个从小家境优渥、从小接受精英教育的人,和一个从普通环境里靠自己努力一路打拼上来的人,即便现在站在同一个位置,他们"真正后天修炼出来的部分"可能完全不是一个量级。如果我们只盯着终点去模仿,很可能把别人出身自带的东西,错当成是值得学习的方法论。

论文里还有一个细节我觉得值得单独说一说，就是那个跨语言体系的扩展实验里，即便两个模型的分词体系只有部分重合，依然能挤出有用的信号来。这多少说明了一件事，这套"学变化量"的思路，对信息传输管道的完美程度,要求没有想象中那么苛刻,这给未来想要进一步扩大教师池、纳入更多来源各异的公开模型,留下了相当大的操作空间。

这篇论文没有解决的问题，论文自己也坦率承认了,就是怎么校准不同模型表达"变化"时所用的尺度和置信度。如果两位老师变化的"幅度"看起来差不多大，但其中一位老师本身说话就比较夸张、置信度普遍偏高，另一位比较含蓄保守，那单纯比较logit数值的大小，是不是真的能公平地反映出两位老师各自"真正学到的东西"有多少？这个问题留白了，也许会是接下来几篇论文要接着回答的。

Q&A

Q1：?-MOPD和传统的多教师在策略蒸馏方法最大的区别是什么？

A：传统方法直接把每位教师训练完成后的终点状态教给学生,这个终点里混杂了教师真正学到的新本领和它从基础模型继承下来的旧习惯。?-MOPD只提取教师从自己基础模型到终点之间的变化量,再重新安放到学生自己的起点上,去掉了继承自基础模型的那部分无关差异。

Q2：?-MOPD在哪种使用场景下效果最明显？

A：论文发现,当多位教师同时在同一个状态下给出打分、信号需要被融合成一个综合目标时,?-MOPD的优势最明显,三教师组合下数学成绩比传统方法高出4.11个百分点。而当每次更新只涉及一位教师时,两种方法表现接近。

Q3：使用?-MOPD这种方法需要什么前提条件？

A：需要拿到每一位教师模型训练之前的基础模型版本,并且要求教师和学生使用兼容的分词体系,或者需要额外设计投射规则来处理分词体系不兼容的情况,这是它相比传统黑箱蒸馏方法多出来的额外要求。