科技行者 2026-11-18 04:14:25
2024年前后,大模型圈里有个挺尴尬的现象。
你花大价钱调用GPT-4或者DeepSeek这样的顶级模型当"老师",想把它的本事教给一个小模型"学生",省钱又省算力。最直接的办法是什么?把老师生成的完整对话记录下来,一字一句地让学生模仿。这套路子有个专业名字。
知识蒸馏:把大模型的能力转移到小模型上的技术,经典做法是让小模型模仿大模型生成的文本序列。
听起来挺合理,但真用起来会发现一个大麻烦:老师说话的时候,它所处的对话情境,是它自己一步步走出来的,而学生在实际工作时,会走出完全不同的对话路径。老师可能在第三轮对话时遇到的场景,学生可能第二轮就已经走偏了,根本到不了那个场景。这就好比你照着一本"高考状元笔记"死记硬背,结果考场上题目换了个问法,你脑子里存的那套话术根本接不上。
研究者把这个现象称为状态分布不匹配,这是本文要解决的核心难题之一。
这几年业内也想了些办法补救,比如让学生自己生成对话,再拿老师的"打分表"(每个词出现的概率分布)去纠正学生,这样至少保证学生是在自己真实会遇到的场景里学习。这个思路叫做token级在线蒸馏,简称OPD。
OPD(On-Policy Distillation):让学生模型自己生成文本,再用老师模型对这些文本逐词打分纠偏的训练方式,好处是能缓解状态不匹配问题。
但OPD也有个隐藏门槛:你得拿到老师模型每个词的概率分布,这意味着老师模型不能是黑盒,还得和学生模型用同一套分词器。现实中很多厉害的闭源模型,比如你调用的商业API,根本不会把内部概率分布暴露给你,分词器也八成对不上。于是问题变成了:**有没有一种办法,既能让学生在自己真实遇到的场景里学习,又不需要老师交出内部概率,甚至老师和学生可以完全不是一个模型家族?**
这就是本文提出的ActionOPD要回答的问题。
### 真正重要的不是"怎么说",而是"做了什么"
这篇论文的核心洞察其实挺朴素的,甚至有点"退一步海阔天空"的意思。
研究者注意到,一个AI智能体在执行任务时,真正重要的决策单位,不是它说出来的每一个字,而是它做出的语义动作。
语义动作:指一次工具调用(比如查询天气)或一句面向用户的回复背后所传达的真实意图和内容,而不是表达这个意图所用的具体文字。
什么意思?举个例子。老师模型可能会说"很抱歉,基础经济舱的机票不能改签",学生模型可能会说"改签对基础经济舱是不被允许的"。这两句话文字完全不同,但传达的信息是一模一样的:都是在告诉用户"这张票不能改"。如果非要逐字逐句去匹配老师的措辞,学生反而学歪了,因为它会以为"措辞"才是重点,而不是"这张票到底能不能改"这件事本身。
这就好比你教一个新员工怎么拒绝客户的不合理退款要求。你真正想让他学会的,是"判断这个退款请求是否符合公司政策"这个决策本身,而不是你当时随口说的那句措辞。如果你非要求他把你说的每个字都背下来,等真遇到客户换了种问法,他反而可能卡壳,因为他脑子里装的是一串固定台词,不是一套判断逻辑。如果不这样处理,后果是什么?论文里的实验数据给出了答案:单纯模仿老师完整对话(也就是传统知识蒸馏KD)的学生模型,在训练集上表现不错,但面对没见过的任务时反而不如那些学"决策"而不是学"台词"的方法稳定。
### 从"模仿一句话"到"追求决策一致"的数学转身
有了这个洞察,接下来要解决的是怎么把它变成一个可以训练的数学目标。
论文的思路是这样的:在学生实际遇到的每一个状态(也就是每一轮对话或每一个任务节点)下,让老师模型也生成几个可能的回答,这些回答代表老师认为"在这个情况下应该怎么做"。然后看学生自己生成的回答,有没有在语义上和老师的某个回答对上。如果对上了,就给学生一个奖励信号;如果没对上,或者学生生成了一个根本无效的操作(比如调用了不存在的工具参数),就给惩罚。
这套机制用的是一种叫做REINFORCE的经典强化学习框架,本质上是在说:**我不要求你背诵我的话,但我希望你做出和我语义一致的决策,做对了就奖励你,做错了就扣分。**
REINFORCE:一种经典的强化学习策略梯度算法,核心思路是根据行为获得的奖励,调整未来做出该行为的概率,奖励越高,这个行为未来被选择的可能性就越大。
这里有个细节值得多说两句。论文里说,这个目标最大化的是"老师动作的期望似然",翻译成人话就是:学生生成的所有可能回答里,有多少概率质量落在"和老师语义一致"这个集合里。这和传统蒸馏去拟合"老师写的那一句话的概率"是完全不同的东西,后者只盯着一条路径,前者关心的是一整片语义相同的区域。
打个比方,传统蒸馏像是老师给你划了一条标准答题路线,你必须严格沿着这条线走;ActionOPD更像是老师在地图上圈出一片"到达终点都算对"的区域,只要你落在这片区域里,走哪条小路都行。区别在哪?如果只认一条路线,学生稍微拐个弯就被判错,哪怕拐弯之后殊途同归;如果认一片区域,学生有更大的自由度去发展自己的"行文风格",同时又不偏离真正重要的决策方向。
### 怎么判断两个回答"语义上是不是一回事"
这里就要讲讲论文里一个挺实在的工程细节:语义匹配器怎么设计。
对于工具调用这种结构化的动作,匹配器会先检查工具名字是不是一样,然后对参数做"规范化"处理,比如忽略参数顺序的差异、把浮点数2.0和整数2当成一回事。剩下那些没法用程序规则直接判断的细微差异,就交给一个专门的大模型去裁决,比如判断两个参数的差异是不是真的改变了操作的含义。
对于自然语言回复,系统先做字面上的精确匹配,匹配不上的话,再让这个裁判模型去比较两句话传达的意图和事实内容是不是一致。前面提到的"基础经济舱不能改签"那个例子,就是典型的这种情况。
有意思的是,论文还设计了一个频率奖励机制,不是简单的"匹配就给1分,不匹配就给0分"这么粗暴。因为每次只采样3个老师样本,这个数字太小,没法精确估计"学生的回答到底有多大概率和老师一致",所以论文给第一次匹配成功一个基础奖励,后面每多匹配一次老师样本,再给一个较小的额外加成。这样设计的好处是,即使所有候选回答都匹配上了老师的某个动作,系统依然能分辨出哪个回答"匹配得更扎实"(比如同时匹配上了老师的两个样本,而不只是一个),从而提供更细腻的学习信号。
这套机制还搭配了一个叫做状态组展开(State-Group Rollout)的采样策略。具体来说,在每一个状态下,不是只让学生生成一个回答就完事,而是让学生生成4个候选回答,然后用前面说的奖励机制给它们打分,最后选出得分最高的那个真正执行下去,推动任务往前走。
这个设计挺关键的。如果每次只让学生按自己原本的概率分布随便生成一个回答就往下走,很可能走着走着就偏离了老师会走的那条合理路径,后面训练材料的质量也会跟着变差。而通过每次都挑出"得分最高"的候选去执行,相当于用老师的判断力,引导学生走出一条更接近老师水准的轨迹,学生再在这条轨迹上继续学习如何做出更接近老师的判断。这就像教孩子骑自行车,你不会让他完全自己瞎骑最后摔个鼻青脸肿才学会,而是在关键的几个岔路口扶一把方向,让他走在相对安全的路线上,慢慢积累平衡感。如果完全不干预,学生可能在训练初期就偏到完全学不到东西的死胡同里去。
### 老师越强,学生越强:一个让人安心的扩展规律
光讲原理还不够有说服力,得看实验数据。
研究团队用Qwen3-4B和Qwen3-8B两种大小的学生模型,搭配两种不同"出身"的老师模型:阿里的Qwen3.7-Flash和DeepSeek-V4-Flash。注意,这两个老师来自完全不同的模型家族,分词器也不一样,这正好能验证ActionOPD是不是真的不挑老师。
训练数据来自两个任务集合,AWM(Agent World Model,提供可执行工具和持久化后端状态的环境)和EnvScaler(在交互循环中加入了模拟用户的环境),经过筛选后一共留下6697个任务。
训练完之后,在四个完全没有出现在训练数据里的测试基准上评估效果,包括BFCL多轮对话测试、ToolSandbox工具沙盒、AppWorld应用世界任务、以及τ?-bench客服对话基准。结果显示,四种"学生加老师"的组合,全部比各自训练前的基础版本有提升,提升幅度在3.3到6.9个百分点之间。
更有意思的规律藏在数据对比里。同样配一个老师,8B的学生模型最终表现总是比4B的学生模型更好;同样配一个学生,用DeepSeek-V4-Flash当老师的效果,总是比用Qwen3.7-Flash当老师更好,而DeepSeek-V4-Flash本身直接测试的分数也确实更高。
这个发现说明什么?说明"学生越大、老师越强,蒸馏效果越好"这个直觉在ActionOPD框架下是成立的,而且这个规律跨越了模型家族的界限。要知道,很多蒸馏方法要求老师和学生同源,这极大限制了你选老师的自由度。而ActionOPD因为只需要"看老师做什么决定",不需要"看老师怎么打分",所以你完全可以挑整个市场上能力最强的那个模型当老师,不用管它跟你的学生模型是不是"一家人"。
| 学生模型 | BFCL | ToolSandbox | AppWorld均分 | τ?-Bench均分 | 综合平均 |
|---|---|---|---|---|---|
| Qwen3-4B 基础版 | 34.3 | 55.5 | 12.6 | 21.5 | 30.8 |
| Qwen3-4B + Qwen3.7-Flash | 42.3 | 61.8 | 16.4 | 22.0 | **35.9** |
| Qwen3-4B + DeepSeek-V4-Flash | 44.1 | 63.3 | 20.5 | 22.6 | **37.7** |
| Qwen3-8B 基础版 | 39.9 | 57.7 | 15.9 | 28.3 | 35.6 |
| Qwen3-8B + Qwen3.7-Flash | 45.0 | 62.5 | 20.3 | 27.5 | **39.0** |
| Qwen3-8B + DeepSeek-V4-Flash | 45.5 | 62.5 | 21.6 | 29.2 | **40.0** |
(此表为论文核心指标汇总,AppWorld与τ?-Bench取其子项均值,数值保留一位小数)
### 和老牌方法PK,ActionOPD打得怎么样
光自己跟自己比还不够,论文还做了一组对照实验,把ActionOPD和传统知识蒸馏(KD)、token级在线蒸馏(OPD)放在同一条起跑线上比较,用的是同一个Qwen3-32B老师,同一批τ?-bench任务。
结果挺耐人寻味的。传统KD在"四次尝试全部成功"这个高难度指标上表现最好,说明它学到的东西比较稳,一旦学会了就很可靠。但在"单次尝试成功率"这个更常见的实用指标上,OPD和ActionOPD都超过了KD,其中ActionOPD在训练集上的两个指标都超过了OPD,在测试集上的单次成功率也略高于OPD。
这其实印证了开篇说的那个道理:在线方法,无论是OPD还是ActionOPD,都能缓解"老师演示的场景"和"学生实际遇到的场景"之间的错位问题,所以更容易在陌生任务上表现稳定。而ActionOPD相比OPD的优势在于,它压根不需要老师交出token概率,接口更灵活,也更适合接入闭源商业模型。
### 拆开来看,每个零件都有用吗
任何一个由多个组件拼起来的方法,都得回答一个问题:每个部分是不是真的在起作用,还是摆设?
论文做了几组消融实验。第一组叫"仅有效性奖励",把语义匹配这个核心机制去掉,只告诉学生"你这个动作合不合规矩",不管它和老师的决策是不是一致。结果是四个基准平均分从ActionOPD的40.0掉到了30.8左右,几乎打回了没训练前的原形。这说明光知道"做得对不对"远远不够,学生需要知道"该往哪个方向做才算真正对"。
第二组叫"二元奖励",取消了前面提到的频率加成机制,只用简单的0/1打分。效果同样下降,虽然没有第一组那么惨,但也说明那个看似细枝末节的频率奖励设计,确实在帮助模型分辨"匹配得扎实"和"勉强匹配上"之间的差异。
第三组叫"随机提交",保留了奖励机制,但不再执行得分最高的候选,而是随机选一个候选往下走,哪怕它是无效操作。结果也不如完整版的ActionOPD。这证明了状态组展开里"选最优候选推进任务"这个设计,不是可有可无的点缀,而是实实在在地帮学生走在更合理的轨迹上。
这几组消融放在一起看,传递的信息挺一致的:语义层面的对齐、精细化的奖励设计、以及引导式的轨迹推进,这三者缺一不可,少了任何一个,整个系统的表现都会明显打折扣。
### 真实案例里,学生到底学到了什么
数字之外,论文还给出了几个具体案例,挺能说明问题。
在航空客服场景里,有个任务是用户想改签一张基础经济舱的机票,但政策规定这类票不能改。训练前的模型知道这是基础经济舱,却还是违规去调用了改签接口,任务判定失败。训练后的模型学会了先向用户解释限制,在用户坚持要求时转接人工,而不是强行违规操作。
在零售场景里,有个任务要求把另一张订单里的纽约地址,更新到目标订单上,同时修改目标订单的收件人备注。训练前的模型把"用于参考的那张订单"误当成了"需要被修改的目标订单",结果地址压根没改对。训练后的模型准确分清了"信息来源"和"操作对象"这两个概念,正确完成了整个流程。
这些案例背后反映的,其实是ActionOPD训练出来的模型,在"理解任务约束"和"追踪正确的操作目标"这些需要真正语义理解能力的地方,表现得更扎实,而不只是学会了一套应付测试的话术模板。
### 当老师就是自己:Self-ActionOPD的探索
论文最后还做了一个挺有想象空间的延伸实验,叫Self-ActionOPD。
这次老师和学生用的是同一个模型Qwen3-4B,区别在于老师拿到了一些学生看不到的额外信息,比如用户隐藏的真实诉求、任务的参考答案、关键操作的具体参数。这有点像考试时,老师手里有标准答案,学生手里只有题目,老师用自己手里的"参考答案视角"生成的回答去指导学生在"没有参考答案"的情况下怎么做。
经过50步训练,学生在测试集上的单次成功率提升了4.8个百分点,四次全部成功率提升了2.5个百分点,而且提升出现在全部三个测试领域里。最关键的是,训练后评估学生表现时,完全不给它任何特权信息,它依然比训练前表现更好。
这意味着什么?意味着模型确实把"拥有额外信息时能做出的更优决策"这种能力,内化成了自己在信息不全时也能调用的判断力。这为"模型自我提升"打开了一条可能的路径:你不需要外部请一个更强的老师,只要给自己一些额外的线索和提示,就能反过来教自己变得更强。
### 这套方法也有自己的软肋
论文作者挺坦诚地列出了三个局限。
第一,语义一致不等于决策正确。如果老师本身在某个场景下给出了一个糟糕的建议,学生学到的也会是这个糟糕的决策,这套机制本身没有纠错能力,它只保证"学生学得像老师",不保证"老师学得对"。
第二,用大模型去做语义匹配判断,本身就可能出错。两句话到底算不算表达同一个意思,这事儿有时候挺主观的,判断模型可能产生误判,导致奖励信号本身带有噪声。
第三,每次只采样3个老师样本、4个学生候选,数量都比较有限。在特别复杂、决策路径特别发散的长程任务里,这种有限采样可能根本捕捉不到真正合理的决策空间,增加采样数量理论上能改善这个问题,但代价是更高的计算和调用成本,论文里也承认这块还没有充分验证。
写在后面
读完这篇论文,有个细节让我反复琢磨了挺久:为什么偏偏是"动作"而不是"文字"或者"结果"成为了供教学的单位?
你往两个方向想都说得通。往"文字"那个方向想,逐字模仿最精确,信息损失最小,但代价是脆弱,一旦场景稍微变化就对不上。往"结果"那个方向想,只看任务最后成没成,信号最省事,但代价是太稀疏,中间走了多少弯路、犯了多少小错都看不见,学生很难知道具体哪一步该改。ActionOPD选的是中间那条路,既不要求逐字复刻,也不是等到任务结束才给反馈,而是盯住"每一步具体做了什么决定"这个粒度。这其实是个挺朴素但容易被忽略的洞察:语言模型教学这件事,最终决定学习效果的,往往不是你选了多复杂的算法,而是你选对了用什么粒度去衡量"对"和"错"。
还有一点挺触动我的,是Self-ActionOPD那个实验。模型用"知道答案的自己"去教"不知道答案的自己",这事听起来有点像左右互搏,但它确实管用。这让我联想到人做复盘这件事:你带着"后来知道的结果"去回看"当时不知道结果时的决策",往往能发现当时看不清的盲点。模型的自我蒸馏,某种程度上也是在做这种"带着上帝视角回看自己"的练习。
这篇论文没有解决的问题,或许比它解决的问题更值得追问:当语义匹配本身依赖另一个模型做裁判,而这个裁判也可能出错的时候,整条学习链路的可靠性上限到底在哪里?如果把裁判也换成更强的模型,是不是这个方法就能无限叠加下去?这事儿,目前还没人给出答案。
Q&A
Q1:ActionOPD是什么?
A:ActionOPD是一种动作级在线蒸馏方法,它不要求学生模型模仿老师的具体文字表达,而是在学生实际遇到的场景中,奖励学生做出和老师语义一致的决策,不需要老师交出内部概率分布,也不要求老师和学生用同一个分词器。
Q2:ActionOPD和传统知识蒸馏(KD)有什么区别?
A:传统KD让学生逐字模仿老师生成的完整对话,容易出现学生实际场景和老师演示场景不匹配的问题。ActionOPD只要求学生做出的动作在语义上和老师一致,不限定具体措辞,同时在学生自己遇到的真实状态下训练,减少了这种错位。
Q3:ActionOPD训练出来的模型效果提升明显吗?
A:论文用Qwen3-4B和Qwen3-8B两种学生模型,搭配两种不同家族的老师模型测试,四种组合在四个陌生测试基准上的综合平均分,都比训练前提升了3.3到6.9个百分点,而且学生模型越大、老师模型越强,效果提升越明显。
【版权声明】本文内容来源于科技行者,版权归原作者及原媒体所有。本站仅作信息分享,不构成任何商业用途;如涉版权问题,请联系本站删除。
发布时间:2026-11-17 17:04:59
(第1/1页/共8912字/1阅)