您尚未登录/注册
首页>教育
语言模型读不懂自己的“中间想法”:一个关于参考系的发现
科技行者 2026-11-22 08:57:41

2020年,一个叫nostalgebraist的研究者在网上发了一篇博客,提出了一个后来被广泛使用的小技巧:logit lens(逻辑透镜)。

这个想法很简单,语言模型最后一层输出的是我们能看懂的词,那中间层呢?干脆直接把最后一层的"翻译规则"套用到中间层上,看看会出来什么。

这招用了五年,几乎成了interpretability(可解释性研究)领域的标准工具。直到最近,一篇论文把这件事的根子问题挖了出来:你凭什么觉得最后一层的翻译规则,能套用到中间层?

这事听起来有点反直觉。如果你用过翻译软件,大概会觉得翻译规则应该是通用的,一套词典走天下。但语言模型不是这样工作的,它的中间层状态到底是什么意思,完全取决于后面还剩多少层没算、这些层打算怎么处理这个状态。换句话说,同一个中间状态,在不同的上下文里,可能被模型赋予完全不同的含义。这就是这篇论文真正想讲的事。

一个状态,没有固定的"意思"

要理解这个问题,得先弄明白语言模型内部到底在干什么。

你输入一句话,模型把每个词变成一个向量(这个过程叫embedding,词嵌入:把离散的词映射成连续的数字向量,方便神经网络计算),然后这些向量会经过一层又一层的计算,每一层都会读取之前的状态,往里面加点东西,再传给下一层。这整个过程叫residual stream(残差流:信息在网络各层之间流动传递的主干通道,每一层都在上面做加法式的修改)。最后一层算完,再通过一个叫unembedding(反嵌入:把模型最后的向量转换回词表上各个词的打分,也就是logits)的操作,把向量变成每个词的概率打分。

问题就出在中间。

模型自己只在两个地方明确定义了"这个向量是什么意思":输入的时候(每个词对应一个固定向量),和输出的时候(最后的向量对应词表上的打分)。中间那几十层算出来的向量,模型从来没有明确说过它们是什么意思。

研究者们一直用两种办法去猜。第一种是上面说的lens(透镜)方法,强行套用输出层的规则。第二种干脆放弃读懂它,只统计这堆向量的几何形状,比如它们之间离得有多远、整体占了多少维度,这类方法把每一层的状态看成一个point cloud(点云:一堆散落在高维空间中的数据点的集合,这里指某一层所有位置的隐藏状态构成的集合)。

这两种办法的毛病,论文作者说得很直白:都没有像模型自己那样去读这个状态。

logit lens用一套固定的翻译规则套所有上下文,不管每个状态所处的语境是什么。点云方法则干脆不去管状态的意义,只看它们分布得像不像。两边都漏掉了同一个东西:这个状态真正的含义,是由它后面还没跑完的那些层决定的,而这些层会去关注前面的词,所以不同的上下文里,同一层的同一个方向可能代表完全不同的东西。

论文里有张图特别说明问题,在OLMo3-7B这个有32层的模型里,到了第16层(正好过半),logit lens给出的方向和模型自己真正使用的方向,夹角已经达到75度。什么概念?两个方向几乎快要垂直了,相当于南辕北辙。就算是专门用Jacobian(雅可比矩阵:描述函数输出相对于输入变化率的矩阵,这里指模型剩余层的梯度信息)方法拟合出来的Jacobian lens,到了倒数第四层依然偏差40度以上。

这就好比你问一个人"苹果"这个词是什么意思,在不同的句子里,这个词可能指水果,可能指手机品牌,可能指电脑品牌。如果你坚持用一套固定的解释去套所有句子,那大部分时候你都会理解错。如果不用上下文去纠正,你拿到的翻译永远是一个大致靠谱但经常跑偏的猜测,这正是logit lens这五年来一直在干的事。

参考系:让模型自己告诉你答案

这篇论文提出的解法叫lexical reference frame(词汇参考系),核心思路是:既然一个中间状态的意思是由后面的层决定的,那就老老实实让后面的层把这个状态读出来,而不是找个捷径绕过去。

具体怎么做?论文定义了一个叫transport(转运)的过程,把某一层的状态,沿着模型剩下的所有层,一步步传递到最后一层,期间让它真的去关注(attention,注意力机制:模型用来决定关注输入序列中哪些位置信息的核心机制)前面的词,就像模型正常跑的时候一样。跑到最后一层之后,再套用输出层那套固定的翻译规则。

这样算出来的,才是这个状态在模型眼里真正的样子。论文把这个完整的、不省略任何步骤的参考系称为native frame(原生参考系),也就是模型自身诱导出来的那个参考系。

但这里有个麻烦:如果什么都不省略,你算出来的东西其实就等于模型本身的最终输出,这没有任何信息增量,你只是把模型又跑了一遍。真正有用的,是省略一部分计算,同时又尽量接近模型的真实读法。

论文给出的解法是分阶数(order)构造参考系,记作LEXFRAME[n]。n代表状态在往后传递的过程中,允许发生几轮"注意力交互"。

LEXFRAME[0]是最省事的版本,状态谁都不理,只看自己手里有什么。它仍然要经过后面所有层的非线性计算,但每一层本该去关注别的位置时,论文用一个提前从无标注文本里统计出来的typical attention output(典型注意力输出:用岭回归从校准文本中估计出的、代表"一般情况下注意力层会输出什么"的近似值)去代替,相当于给它一个"正常情况下大概会得到什么"的猜测值,而不是真的去看前面的词。

LEXFRAME[1]往前迈了一步,让状态真正去关注它的前缀(也就是它前面的词),但前缀里的那些词自己互相之间还是不来往,各算各的。

LEXFRAME[2]再进一步,连前缀内部的词互相之间也开始关注了,信息可以多传一跳。

往后以此类推,阶数越高,省略的东西越少,最终趋近于原生参考系本身。

这个设计思路可以用一个场景来理解。假设你想知道一场多人谈判中,某个人在会议中途说的一句话到底是什么意思。最偷懒的办法(类似logit lens)是直接看他最后签字时说了什么,拿这个去倒推中途那句话的意思,这经常会错得离谱,因为谈判过程中立场会变。稍微靠谱一点的办法(LEXFRAME[0])是只听这个人自己说的那句话,不管旁边人怎么回应,这样至少不会被最终结果误导,但也丢掉了他和别人互动产生的含义。更靠谱的办法(LEXFRAME[1])是把他说话时在场的所有人之前说过的话都考虑进去,看他是在回应谁、针对什么,这时候你对这句话的理解会准确很多。如果连会场里其他人互相之间的交头接耳也考虑进去(LEXFRAME[2]),理解会更完整,但计算成本也更高。你永远可以选择听多少、算多少,关键是知道自己省略了什么,而不是假装什么都没省略。

效果:LEXFRAME[1]到底有多准

说了这么多设计思路,实际效果如何?论文在两个真实的开源模型上做了测试,一个是SmolLM3-3B(36层),一个是OLMo3-7B(32层)。

先看一个关键指标,叫coherence(一致性):同一个词在不同上下文里,模型真正使用的方向到底有多稳定。论文发现,在模型中间层,这个一致性是很低的,大概只有0.09到0.12。这意味着什么呢?意味着任何一个"一刀切"的方法,不管怎么拟合,最多也只能达到这个一致性的平方根,大约0.30到0.35的相似度上限。这是个数学上证明出来的硬天花板,不是拟合不够好的问题,是这类方法天生就做不到。

而LEXFRAME[1]呢,在模型中间层,和模型真实使用的方向之间的相似度达到了0.97和0.97,远远超过了那个理论上限。这不是因为LEXFRAME[1]作弊,而是因为它压根没有被这个上限束缚,它没有用一个固定方向去套所有上下文,而是对每个具体的状态单独计算。

| 方法 | SmolLM3-3B散度(nats)| OLMo3-7B散度(nats)|

|---|---|---|

| Logit lens | 29.06 | 5.66 |

| Jacobian lens | 7.51 | 6.19 |

| LEXFRAME[0] | 0.87 | 0.93 |

| **LEXFRAME[1]** | **0.16** | **0.15** |

| LEXFRAME[2] | 0.06 | 0.05 |

这张表里的散度(divergence,这里特指KL散度,衡量两个概率分布之间差异的指标,数值越小表示两个分布越接近)数字看着抽象,换个说法可能更直观:LEXFRAME[1]读出来的预测结果,和模型最终真正输出的结果,已经非常接近了,差距只有0.16和0.15个nats(自然对数单位下的信息量度量),而两种lens方法差了好几个nats,差距是几十倍的级别。

更实际的应用是early exit(提前退出:在模型计算到某一层时如果已经足够确信答案,就提前停止后续层的计算,节省算力)。论文发现,如果用LEXFRAME[1]的读数做信心判断,模型可以跳过45%和42%的层数而不影响准确率,但如果用传统的lens方法做同样的判断,几乎跳不过任何层,因为lens的"信心"根本不靠谱,它自己都读不准,当然没法告诉你什么时候可以提前收工。

这就好比两个人帮你判断一份文件是否可以提前归档。一个人(lens)只看文件最后一页的格式是否完整就下结论,经常误判;另一个人(LEXFRAME[1])真的通读了文件的上下文逻辑才下判断。后者给出的"可以提前归档"的信号,才是真正可信的,你才敢据此节省时间。如果你信了前者的判断去提前退出计算,大概率会得到错误答案,这就是为什么论文说传统lens在这件事上"几乎跳不过任何层"。

训练过程中的衰退:固定透镜越用越差

另一个挺意外的发现是,固定映射方法(也就是各种lens)的表现会随着模型训练的推进而变差,而LEXFRAME[1]却能一直保持稳定。

论文追踪了SmolLM3从训练早期到训练完成的多个检查点(checkpoint,训练过程中保存的模型快照)。结果显示,logit lens和模型真实输出之间的散度,从训练早期的4.82 nats一路涨到训练完成后的29.06 nats,差不多涨了六倍。而LEXFRAME[1]在同样的训练过程中,散度基本稳定在0.15到0.16之间,几乎没有变化。

为什么会这样?论文给出的解释是,模型在训练过程中,中间层的"原生参考系"会越来越偏离输出层的参考系。换句话说,模型学得越好,它中间层思考问题的方式和它最终输出答案的方式差异就越大。一个固定不变的翻译规则,自然就越来越跟不上。

这个现象放到生活里想想也挺合理。一个刚入行的新人,脑子里想的和嘴上说的基本是同一套话,你听他汇报工作,大致就能猜到他心里是怎么想的。但一个经验丰富的老手,脑子里经过了层层考虑、权衡、取舍,最后说出来的那句简洁结论,和他脑子里真实运转的过程差得很远。你如果还是用"听结论猜过程"这个办法去理解老手,只会越来越猜不准,因为他脑子里的思考路径已经和他嘴上说的话高度解耦了。模型训练的过程,某种程度上就是在把中间层的"思考方式"和输出层的"表达方式"越拉越开。

参考系的两面:怎么读、怎么写

论文里还有一个挺精妙的设计,是把这个参考系拆成了两个互补的部分:lexical readout(词汇读数)和lexical basis(词汇基)。

读数是用来读的,衡量当前状态里包含了多少某个词的"成分",相当于一个梯度方向,告诉你往哪个方向移动能让某个词的打分涨得最快。基则是用来写的,是读数的一个对偶版本,告诉你如果想往状态里精确地写入某个词的信息,应该往哪个方向移动,同时尽量不影响其他词。

这两者听起来像是一回事,但论文的实验证明它们其实差别很大。

在一个叫steering(引导)的实验里,任务是把某个排名第二的候选词,通过微调一个中间状态,让它反超当前的最佳候选词。如果沿着读数方向去调整,确实能成功反转预测结果,成功率有0.92到0.94,但代价是会把其他无关的词也一起带着变化,平均带来0.033和0.025 nats的额外扰动。如果换成沿着基的方向去调整,反转成功率差不多,但带来的额外扰动只有0.009和0.004 nats,干净利落得多,干净反转的比例达到0.73和0.85。

这个差别可以用调音响来打比方。你想让低音更突出一点,如果直接把整个音量往某个大致方向拧(类比读数方向),确实低音变大了,但高音和中音也跟着一起被你带动了,整体音质变得浑浊。真正懂行的做法(类比基的方向)是只调低音旋钮,让低音涨上去的同时,尽量不影响其他频段。如果调音台上根本没有分离出这么精细的旋钮,你永远只能做粗暴的整体调整,没法做到干净利落的引导。LEXFRAME[1]之所以能做到这种精细调整,恰恰是因为它把"读"和"写"拆成了两套不同的方向,而不是混在一起用同一个方向糊弄过去。

归因分析:谁对预测结果负了多少责任

参考系还有一个实际用途,叫attribution(归因):量化模型内部某个具体的组件,比如某一层、某一层里的注意力模块或者前馈网络模块,对最终预测结果到底贡献了多少。

论文设计了一个很干脆的验证办法:真的把某个组件在某个位置写入的内容拿掉,重新跑一遍模型,看看预测结果变化了多少,这个变化量就是"真实效果"。然后拿这个真实效果去和各种归因方法给出的预测值做对比。

结果是,用LEXFRAME[1]里两次读数之差(移除组件前后,预测词的系数变化)去做归因,和真实效果的相关性达到了0.88和0.90。而业内常用的attribution patching(归因补丁法:一种通过线性近似来估计模型组件对输出贡献的归因方法)方法,相关性只有0.62和0.68。传统的两种lens方法,相关性最多只有0.20,基本不太能用。

差距最大的地方出现在前馈网络模块(MLP)上,线性归因方法在这里的相关性只有0.63和0.71,而LEXFRAME[1]能做到0.88和0.90。论文的解释是,模型剩余层对注意力写入的反应接近线性,但对前馈网络写入的反应远远超出了线性范围。这意味着,任何假设"写入多少就等比例影响多少"的归因方法,在前馈网络这块天然就会算错账,因为真实情况根本不是线性的。

点云方法为什么靠不住

论文还专门做了一个实验,检验那种只看点云几何形状、不做任何"读取"的方法到底有多可靠。

做法是:把某一层里某个位置的状态,换成同一层另一个位置的真实状态,跑完整个模型,看输出变化了多少。然后拿各种"距离"指标(比如欧几里得距离、余弦距离、测地线距离)去预测这个变化量有多大,看哪种距离指标预测得准。

结果相当打脸:没有一种基于点云几何的距离指标,预测准确度能超过0.28的等级相关系数,而LEXFRAME[1]读数之间的差异,预测准确度达到了0.94和0.95。论文进一步做了个分析,发现一个词的真实读数方向,只有最多9.2%落在状态点云的局部主方向里,随机方向大概能占3.1%,也就是说读数方向和点云自然变化的方向,基本是两件不相关的事。

这说明点云的几何形状主要反映的是模型剩余层根本不在乎的那部分变化,但传统的距离度量却把这部分"噪音"和真正重要的部分一视同仁地加权计算,自然就测不准。这就像你想判断两个人谁更懂一门手艺,如果你只量他们站的位置离得有多近,这个信息跟他们手艺高低几乎没关系,哪怕量得再精确,也得不出你想要的答案。

写在后面

读这篇论文的过程中,最让我意外的不是技术方案本身,而是那个被证明出来的数学上限:没有任何固定方向的方法能超过一致性的平方根。这不是工程实现不够努力,是个硬性的数学天花板。这意味着过去五年里,不管研究者多么努力去优化logit lens或者各种改良版本,只要坚持"一层一个固定映射"这个基本假设,就永远撞在这堵墙上。这让我重新想了一下,有些时候问题出在方法论本身,而不是执行细节,这种情况比想象中更常见。

另外一个值得单独说的细节是训练过程中lens越用越差这件事。论文把这个现象和训练动态联系起来,提出模型越训练,中间层的"思考参考系"和最后输出的参考系就偏离得越厉害。这其实暗示了一件事:我们平时说"模型学会了某种能力",背后可能对应着它内部表示方式和最终输出表达方式之间裂痕的加深,这个裂痕本身也许是模型能力增长的某种副产品,而不只是噪音。这个猜想论文没有深入展开,但挺值得继续追下去。

论文作者还提到,这套方法目前只用来做分析和验证,还没有真正用在诸如知识编辑、幻觉检测这些实际应用场景里,只是说"预期会有帮助"。这个留白挺诚实的,一个工具证明自己理论上站得住脚,和它真正在下游任务里跑赢现有方法,中间还有不小的距离。这个距离会有多大,恐怕要等后续的工作来回答了。

Q&A

Q1:LEXFRAME[1]和传统的logit lens有什么本质区别?

A:logit lens用模型最后一层的固定翻译规则去套所有中间层,不考虑上下文;LEXFRAME[1]则是真正让状态经过模型剩余的层,并关注它的前缀词语,得到的方向会随上下文变化,更接近模型真实的理解方式。

Q2:为什么说没有任何固定方向的lens方法能超过某个理论上限?

A:论文证明了一个数学结论,固定方向方法的表现上限是模型"一致性"指标的平方根,中间层的一致性通常只有0.09到0.12,意味着上限大约是0.30到0.35,而LEXFRAME[1]能达到0.97,因为它不受这个限制。

Q3:这套参考系方法有什么实际用途?

A:论文展示了三类应用,提前退出可以跳过40%以上的计算层节省算力,精细化引导模型输出特定词而不干扰其他词,以及更准确地量化模型内部某个组件对预测结果的贡献程度。

【版权声明】本文内容来源于科技行者,版权归原作者及原媒体所有。本站仅作信息分享,不构成任何商业用途;如涉版权问题,请联系本站删除。

发布时间:2026-11-21 17:04:51


(第1/1页/共8246字/1阅)
首页>教育
相关教育:
体育老师跳《卜卦》火出圈!妖娆起舞,旁边女老师眼睛都挪不开了
教室采光照明新国标11月1日起实施 如何让学生们“看得舒适”?
这就是中国最牛的大学,中国最高学府国防科技大学,能考上清华北大的都不一定能考上这里
企业出题,高校承接!59所高校在沪结成应用型高校国际联盟
西北工业大学宁波研究院屈毅林入选2026年全球前2%顶尖科学家榜单
*三两仙友,论道炼丹,开帮立派,星火传承
网友评论:
更多评论(0)
您的评论:

[热点教育]
在亚太经合组织(APEC)第三十三次领导人非正式会议召开一周前,羊城晚报跨国调研团走进上一年“东道…
极狐联手宁德时代押注全民换电,399元月租能否打开家用车市场?
“奔驰女”拦车借300元加油,还说“留个手机号”,司机好心掏钱,几天后却报警了
20万SUV群雄逐鹿:小米领跑,方程豹、蔚来、理想挤在第二集团
还夸换电不需要下车?比亚迪闪充:妥了 安排,闪充机械臂自动充电中东首秀
[精彩推荐]
又一场“天价豪赌”来了
古人用尿和海螺染出来的贵族紫,我们在家复刻成功了
35岁浙江女子备孕10年未怀上,子宫内竟长出“骨头”,医生:这种罕见病隐匿性强,极易漏诊
APEC效应给文旅产业带来什么启示?对话中国人民大学宋洋洋
喧嚣反转!2026广州车展大变局新势力集体进入静默期