你有没有想过这样一个问题：如果一个说斯瓦希里语的学生在做数学题，心里到底该用哪种语言打腹稿？

这听起来像是个无聊的问题，但对今天的大语言模型来说，这其实是个相当棘手的现实难题。

先说说背景。这几年AI圈子里流行一种叫“骨架式推理”的技巧。

骨架式推理：在模型正式解题之前，先让它写一份简短的思路大纲，告诉自己这道题的结构是什么、需要用到哪些概念，然后再按照这份大纲一步步算下去。

这个方法好处很明显,不需要重新训练模型,直接在提示词里加一步就行,成本几乎为零。正因为便宜好用,它在低资源语言场景里被寄予厚望——毕竟很多小语种根本没有专门训练过的数学模型,能白嫖一个免训练的提升,谁不想要?

但问题来了。之前几乎所有做骨架式推理的研究,都默默假设了一件事：骨架应该用英语写。

这个假设从哪来的？大概是因为英语是大模型训练数据里最厚实的那部分,模型用英语思考时手感最好,这几乎成了圈内心照不宣的默认操作。可是没有人认真问过一句：如果用户问的是斯瓦希里语,模型最后也要用斯瓦希里语回答,那中间那份骨架,到底该用英语写,还是该用斯瓦希里语写,或者第三种语言？

这篇论文的几位作者,来自韩国科学技术院和韩国电子通信研究院,就是奔着这个问题去的。他们给自己的研究框架起了个名字,叫LASEF。

LASEF：全称是“语言感知骨架探索框架”,一套用来系统比较不同语言组合效果的实验方法,它不训练模型,也不是要找出一个万能的最优答案,而是像做田野调查一样,把各种语言搭配都试一遍,看看什么时候好用、什么时候不好用。

这里有个细节值得多说一句。作者反复强调,“探索”这个词在他们的框架里不是指算法上的搜索优化,而是纯粹的实证分析,不涉及任何参数更新。这个区分看似学术化,其实决定了整篇论文的态度：他们不是来卖一个新算法的,他们是来老老实实做一次田野调查的。

这就好比你想知道“中午该吃什么”这个问题有没有标准答案。有人会直接告诉你“吃米饭”,这是一种做法。但也有人会说,我先去问一百个不同的人,记录下他们什么时候爱吃面、什么时候爱吃饭、什么时候两者都不想吃,然后把这些规律总结出来给你参考。LASEF做的就是后一种事。如果不做这种系统调查,直接拍脑袋定“骨架必须用英语”,那很可能在某些语言上吃亏,而且吃亏了都不知道为什么。

三道语言关卡,一步都不能少

要理解这篇论文的核心贡献,得先把骨架式推理这件事拆开看。

一次完整的骨架推理,其实涉及三个独立的语言选择。第一是用户提问用的语言,论文里记作lq。第二是生成那份思路骨架用的语言,记作ls。第三是模型最后展开详细推理、给出答案用的语言,记作la。

这三个语言可以完全一样,也可以两两不同,排列组合出来的可能性相当多。而以前的研究,基本上把ls这个变量锁死成了英语,只在lq和la上做文章。这篇论文把ls也放开了,变成一个可以自由调节的旋钮。

这就好比做菜。你要用什么语言下菜单(提问语言)、厨师脑子里用什么语言构思菜谱步骤(骨架语言)、最后端上桌配的说明用什么语言写(答案语言),这三件事理论上互相独立,但以前大家默认厨师脑子里必须用法语构思,因为法餐历史悠久、技法成熟。这篇论文想问的是：如果顾客点的是斯瓦希里语的家常菜,厨师非要用法语构思步骤,会不会反而别扭、甚至做串味了？

为了验证这件事,作者设计了四种基本的对比配置。第一种叫“目标语言思维链”,简称COT-lt,就是从头到尾都用用户的母语,不用骨架,直接老老实实一步步想。第二种在此基础上加了一层英语骨架。第三种叫“英语先行思维链”,先把问题翻译成英语,再用英语想,最后翻回母语给答案。第四种是在翻译的基础上再加一层英语骨架。

这四种配置两两一比,就能看出骨架到底加了分还是减了分,翻译这一步又占了多大的功劳。

骨架到底管不管用,得看模型多大、题多难、语言多穷

接下来是整篇论文最硬核的部分：实验结果。

作者选了三个难度递增的数学测试集。最简单的叫MGSM,是小学算术题的多语言版本。中等难度的是MATH-500,代数几何微积分都有。最难的是PolyMath,专门针对多语言高难度数学推理设计的。

模型方面,主力用的是通义千问的Qwen2.5系列,分别测了7B、14B、72B三个规模(B代表十亿参数)。

语言方面,覆盖了从高资源语言(中文、西班牙语)到低资源语言(斯瓦希里语等)的大范围样本。

结果出来之后,有几个发现特别值得细说。

第一个发现是,英语骨架对低资源语言的帮助明显更大。

拿Qwen2.5-7B模型在MGSM上做例子,斯瓦希里语在翻译成英语后再加骨架,准确率从63.1%一路涨到71.7%,涨了8.6个百分点。而中文和西班牙语在同样操作下几乎没动,涨幅只有0到1.6个百分点。

这个差距说明了什么？说明高资源语言本身已经够“结实”了,模型用它推理时底子很厚,加不加骨架区别不大。但低资源语言的推理地基本来就不稳,这时候一份结构清晰的英语骨架,相当于给摇摇晃晃的房子加了钢筋。如果不加这层骨架,低资源语言的推理路径很容易在中途跑偏,因为模型对这门语言本身的掌握就不够扎实,没有外部支架很容易塌。

第二个发现有点反直觉：模型越大,骨架越不管用,甚至可能帮倒忙。

7B和14B模型加骨架后基本都有提升,涨幅在0.9到2.5个百分点之间。但到了72B模型,在MGSM的目标语言设置下和PolyMath的英语先行设置下,反而平均掉了0.2个百分点。

这事儿想明白了也不奇怪。小模型推理能力有限,外部给的骨架相当于一份现成的解题思路大纲,帮它省了不少试错成本。但大模型本身的推理能力已经相当成熟,这时候再塞给它一份外部骨架,反而像是给一个经验丰富的老师傅发了一份新手教程,人家按自己的套路来明明更顺手,你非要让他照着教程走,偶尔还会打乱他原本的节奏。

这就好比请一个资深大厨和一个刚入行的学徒分别做同一道菜。给学徒一份详细的步骤卡,他会做得又快又好,因为他本来就缺经验,步骤卡弥补了这个短板。但如果你把同一份步骤卡塞给大厨,大厨可能会觉得这步骤卡写得太死板,反而干扰了他原本脉络清晰的操作习惯,最后菜做出来说不定还差了点意思。如果不给学徒步骤卡,他可能连基本流程都记不全,出错率会明显升高;但如果硬塞给大厨同样的东西,等于用新手的框架束缚了老手的发挥空间。

第三个发现是,题目越难,骨架帮的忙越有限。

还是用Qwen2.5-7B做参照,骨架在最简单的MGSM上能提升2.2个百分点,到中等难度的MATH-500降到1.8个百分点,到最难的PolyMath只剩1.2个百分点。

这说明骨架这种简单的结构化提示,本质上提供的是“方向感”而不是“解题能力”。简单题目靠方向感就能大幅减少跑偏,但复杂题目需要的是真正扎实的计算功力和多步骤的精细推理,一份轻量级的大纲式骨架,给不了这些。

19种低资源语言的大考:翻译才是主力,骨架是配角

光看三五个常见语言还不够有说服力,作者接着把实验范围扩大到19种真正意义上的低资源语言,包括哈萨克语、吉尔吉斯语、蒙古语、维吾尔语、亚美尼亚语等等,用Qwen2.5-7B逐一测试。

这里有个统计学细节值得专门说一下。平均来看,英语骨架确实带来了正向效果,19种语言里有13种受益,平均涨幅在目标语言设置下是2.38个百分点,在英语先行设置下是2.02个百分点。

但如果用更严格的统计检验方法(经过多重比较校正,专业叫FDR校正),真正能站得住脚、具有统计显著性的语言只剩下两个,哈萨克语和维吾尔语。

这个细节很关键。它说明骨架带来的平均提升是真实存在的,但这个提升的幅度太小太分散,大部分语言单独拿出来看,涨幅在统计意义上和噪声差不多大,只有极少数语言的效果足够强,能被明确认定为“真的有用”。

更有意思的是对比两种设置下骨架的边际贡献。单纯把问题翻译成英语,平均准确率就从33.99%跳到58.06%,涨了整整24.07个百分点。而在翻译的基础上再加骨架,只多涨了2.02个百分点。

这个数字对比说明了一个朴素但容易被忽略的事实：在低资源语言场景里,真正的大头收益来自翻译这个动作本身,骨架只是锦上添花的配角。

打个比方,这就像一个外语不太好的留学生去考试。他最大的提升来自“把题目先翻译成自己最熟悉的语言去理解”,这一步直接决定了他能不能看懂题目在问什么。而骨架大纲只是在他已经看懂题目之后,帮他把答题步骤理得更清楚一点,属于锦上添花,不是雪中送炭。如果没有翻译这一步,再好的骨架大纲都是建立在误解题意的基础上,白费功夫。

英语不是唯一答案:有些语言偏偏不吃这一套

但是,英语骨架真的是放之四海而皆准的最优解吗？数据给出了明确的否定答案。

在19种低资源语言里,有5种语言(老挝语、巴斯克语、马耳他语、尼泊尔语、奥里亚语)在加了英语骨架之后,成绩反而下降了。

这让作者进一步追问：如果英语不是答案,那什么才是答案？会不会不同语言之间存在某种“配对关系”,就像找室友讲究性格合不合一样,骨架语言和目标语言之间也存在合不合的问题？

为了回答这个问题,作者把骨架语言的候选范围从英语一个扩展到五个,包括中文、西班牙语、俄语、韩语、泰语,然后看这些非英语骨架在不同目标语言上表现如何。

结果呈现出三种截然不同的模式,这也是整篇论文最值得细品的部分。

第一种模式,方向一致型效果。

老挝语用英语骨架时成绩下降了2.03个百分点,但换成泰语骨架,反而提升了2.81个百分点。老挝语和泰语同属壮侗语系,文字和语法结构上有天然的亲近性。

巴斯克语和亚美尼亚语换成韩语骨架后,分别提升了6.32和5.17个百分点。这个搭配乍一看风马牛不相及,一个是欧洲的孤立语言,一个是高加索地区的古老语言,怎么会和韩语搭上关系？答案藏在语法结构里：这三种语言都属于黏着语,而且都是主宾谓(SOV)的词序,结构上天然对得上。

更重要的是,这些效果在换了不同的采样方式(从一次性贪婪解码换成多次重复采样取平均)之后依然保持着同样的正向趋势,没有翻盘。这说明这不是偶然的运气,是真实存在的规律。

这就好比两个人谈恋爱合不合适,表面上的共同点(比如都爱吃辣)有时候不算真的合拍,但深层的性格节奏(比如都习惯先想后说、还是都习惯边想边说)一旦对上了,相处起来会特别顺,而且不是某一次约会凑巧合拍,是长期相处下来都这样。老挝语和泰语、巴斯克语和韩语之所以搭,靠的不是表面相似,是深层的语法节奏对上了。

第二种模式,评估敏感型效果,马耳他语是最典型的例子。

在一次性贪婪解码下,马耳他语搭配俄语骨架能涨8.62个百分点,搭配泰语涨6.90个百分点,搭配西班牙语涨6.61个百分点,这几个数字看起来相当亮眼,而且通过了初步的统计显著性检验。

但一旦换成多次重复采样取平均,这些涨幅大幅缩水,甚至有的直接翻盘变成负数,比如马耳他语配俄语在多次采样下只剩负0.23个百分点。

作者接着做了一个很聪明的拆解实验,叫翻译消融实验,目的是搞清楚这个忽强忽弱的效果,到底是因为骨架写得好不好,还是单纯因为语言表面形式不一样。具体做法是把同一份英语骨架,原封不动地翻译成五种语言,内容完全不变,只换外壳,再拿去测试。

结果显示,马耳他语配俄语和配韩语,在内容固定、只换外壳的情况下,依然能保持正向增益(分别是正5.15和正5.06个百分点)。这说明这不是骨架内容生成质量的问题,是语言表面形式本身带来的真实效果,只是这种效果比较脆弱,会随着评估方式甚至测试集的变化而摇摆。在另一个独立测试集MSVAMP上验证时,马耳他语配俄语的效果直接反转成了负1.27个百分点。

第三种模式,不对称负迁移型效果,这个最违反直觉。

蒙古语和俄语共用西里尔字母,表面上看关系挺近,但蒙古语是黏着语,俄语是屈折语,语法骨架完全不是一个路数。结果俄语骨架让蒙古语成绩在贪婪解码下掉了5个百分点,多次采样下也掉了2.65个百分点。

维吾尔语和中文地理上离得近,但维吾尔语是主宾谓结构的黏着语,中文是主谓宾结构的分析语,语法底层逻辑完全不搭。中文骨架让维吾尔语成绩在贪婪解码下掉了6.45个百分点。

这两组数据传递出一个很重要的信号：表面上的相似,比如共用一套文字、地理位置相邻,根本不能保证语言之间真的“对脖子”。真正决定骨架好不好用的,是深层的语法结构是不是匹配,不是文字长得像不像、地图上离得近不近。

这就好比两家饭馆招牌长得很像、开在同一条街上,你以为它们味道也差不多,结果一个主打川菜一个主打粤菜,完全不是一个体系。字面上的相似骗了你的第一印象,但真正决定好不好吃的,是后厨的烹饪逻辑,不是招牌字体像不像。

骨架质量这件事,原来不只看英语打分最高

作者还单独做了一轮质量评估,用大模型当裁判,给不同语言生成的骨架打分,想看看是不是“质量越高的骨架,效果就越好”这种简单的因果关系。

结果英语骨架的质量分数确实最高,平均7.57分(满分10分),西班牙语7.35分,中文7.24分,韩语6.69分,泰语最低6.65分。

但有意思的是,质量分数和实际效果之间并不是简单的正相关。

老挝语配泰语骨架,质量分数比英语骨架低1.29分,但实际准确率反而提升了2.81个百分点。巴斯克语配韩语骨架,质量分数比英语低1.19分,实际准确率却提升了6.32个百分点。

反过来,维吾尔语配中文骨架,质量分数和英语几乎一样(7.40对7.54),但实际效果却掉了6.45个百分点。蒙古语配俄语骨架质量分数甚至略高于英语(7.22对7.19),效果依然掉了5个百分点。

这组对比说明一件挺反常识的事：骨架本身写得多漂亮、逻辑多清晰,不是决定它好不好用的唯一标准。语言结构能不能对上,才是真正的隐藏变量。质量高但结构不匹配,照样白搭;质量稍低但结构匹配,反而能逆风翻盘。

这就好比一份说明书,写得条理清不清晰固然重要,但如果这份说明书是用一套跟你完全不同的逻辑系统写的(比如习惯倒装句的人去读习惯正装句的说明书),哪怕每句话单看都很通顺,你读起来还是会觉得哪里不对劲、理解起来格外费劲。反过来,一份文字朴素甚至略显粗糙的说明书,如果恰好用的是你最熟悉的逻辑顺序,你反而能一眼看懂该怎么操作。

写在后面

读完这篇论文,最打动我的其实不是某个具体的实验数字,是作者反复强调的那句话：骨架语言是一个依赖具体场景的设计变量,不能靠生成质量单独预测,必须靠多层次的实证探索去发现。

这句话背后藏着一种挺谦逊的科研态度。很多论文喜欢给出一个干净利落的结论,比如“X方法在所有情况下都更好”,这种结论传播起来容易,写起来也痛快。但这篇论文选择了一条更难走的路：老老实实承认“没有万能答案”,然后把这件事的复杂性原原本本摆出来给读者看。

有一个细节我反复琢磨。作者在马耳他语这个案例上花了特别多篇幅,专门区分“方向一致型”和“评估敏感型”两种效果,还特意做了跨数据集的验证实验。这种近乎吹毛求疵的严谨,其实是在提醒所有做类似研究的人：一个漂亮的实验结果,如果只在一种评估协议下测过,很可能只是噪声凑巧站在了你这边。

另外一点值得单独说说。论文里提到,维吾尔语和蒙古语这类不对称负迁移效果,在换到完全不同的测试集MSVAMP上验证时,依然基本保持负向,这说明某些“坏搭配”的规律是相当稳固的,具备跨数据集的泛化能力。但正向的好搭配,比如巴斯克语配韩语,换到新数据集上效果直接消失归零。这个不对称性挺耐人寻味：坏消息比好消息更容易预测,好消息反而更脆弱。这或许是个值得单独深挖的方向,如果负向规律真的比正向规律更稳固,那是不是意味着在实际部署前,优先排查“哪些搭配绝对不能用”,比费劲去找“哪个搭配最优”更有性价比？

这篇论文没有给出一个终极答案,它给出的是一套更谨慎的提问方式。而这种提问方式,或许比任何一个具体的最优解,都更值得被记住。

Q&A

Q1：骨架式推理里的语言选择到底有哪三个维度？

A：分别是用户提问所用的语言、模型生成思路大纲所用的语言、模型最终展开推理和给出答案所用的语言,这三者可以相同也可以不同,组合起来会产生完全不同的效果。

Q2：英语骨架对所有语言都有帮助吗？

A：没有。英语骨架平均来看对小模型、简单题目、低资源语言帮助更明显,但在老挝语、巴斯克语、马耳他语等五种语言上反而会拖累成绩,换成结构更匹配的语言(比如给巴斯克语换韩语骨架)效果更好。

Q3：骨架质量高是不是就意味着效果好？

A：不一定。论文发现骨架语言和目标语言之间的语法结构是否匹配,比骨架本身写得漂不漂亮更重要,质量分数高但结构不匹配的骨架,实际效果可能反而更差。