你有没有想过一件事：当你夸一个AI"学得真快"的时候，它到底是真的学会了什么，还是只是凑巧想起了训练时见过的东西？

这个问题听起来有点较真，但它背后藏着一个挺要命的漏洞。现在很多研究团队都在做"自我进化"的AI智能体，让它们反复试错、积累经验、越玩越强。论文摆出来的图表也确实好看,分数随着尝试次数一路往上爬。可问题是，如果你让AI去玩一个修软件bug或者订机票的任务，这些任务的规则AI在训练阶段早就见过八百遍了,那它分数涨上去，到底是因为它从这次互动里学到了新东西，还是只是把脑子里本来就有的知识给翻出来用了？

这两件事从结果上看一模一样，但本质完全不同。

新加坡国立大学的一组研究者就抓住了这个漏洞不放。他们干了一件挺硬核的事：自己设计了一套全新的文字游戏，游戏规则故意设计得反常识、反直觉，保证训练数据里绝对不可能出现过。这套基准测试叫Learn2Play Bench。

**这篇论文的核心贡献是把"学习能力"和"知识储备"彻底切割开，让我们第一次能干净地看到AI智能体到底有没有真正的学习能力。**

规则必须反常识才算数

想象一下，如果你想测试一个学生的"自学能力"，但出的题目全是课本上讲过的内容，那这次测试到底是在测自学能力，还是在测他背书背得熟不熟？

研究团队面对的就是这个问题。市面上已有的几个评测"自我进化智能体"的基准，比如用Jericho这类经典文字冒险游戏来测试,问题就出在这些游戏的内容早就公开发表多年，训练大模型的语料库里大概率混进去过。AI在游戏里"越玩越好"，你没法区分它是现学的还是老底子厚。

于是研究者们自己手搓了20个游戏模板，每个都带着一个刻意设计得违反常理的隐藏规则。论文里举了个很生动的例子：在一个叫"投毒者"的游戏里，玩家要往国王的餐桌上端毒药，游戏的目标是摸清国王的口味偏好,比如他爱吃甜的还是咸的、荤的还是素的,然后连续三顿饭都成功下毒。这个规则本身不难，难的是整套系统必须保证AI模型从没在哪本书、哪个网页上见过这个具体设定。

还有一个更绝的例子：游戏设定里，偷同事的午饭能帮你升职，而努力工作反而没用。这完全是反职场常识的设计，目的就是逼着AI放下它从互联网语料里学到的"努力工作才能升职"的刻板印象，老老实实从游戏反馈里一步步试出真正的规则。

规则验证：每条规则背后都有对应的金标准答案，用来确认游戏确实是可解的,这保证了游戏不是虚设的迷宫，而是真的能靠逻辑推理走通的谜题。

这20个游戏里，有一半属于"固定型"，也就是每次重开游戏，场景、人物、菜单都长得一模一样，AI可以死记硬背这一局的具体套路；另一半是"重排型"，游戏规则不变，但每次场景里的人物名字、菜单内容、房间布局都会打乱重排。这个设计特别关键，它逼着AI必须抽象出规则背后的逻辑，而不能死记硬背某个具体答案。

这就好比你教一个孩子认识"圆形"这个概念。如果你每次拿的都是同一个红色皮球，孩子完全可能记住的是"红色的、软软的那个东西叫圆形"，而不是真的理解了"圆形"是什么。只有换成蓝色的盘子、黄色的车轮、白色的月亮，他如果还能一眼认出"这是圆的"，你才能确定他学到的是抽象概念，而不是死记硬背的标签。如果不做这个重排设计，AI完全可能只是记住了"这局游戏第三步该点哪个按钮"，表面分数照样很高，但你根本测不出它有没有真正理解规则。

四把尺子量出学习的真实样子

光设计游戏还不够，研究团队还需要一套精细的打分标准，来捕捉"学习"这件事的不同侧面。

他们定义了四个指标。第一个叫Max，就是AI在所有尝试里能达到的最高分，衡量它的"天花板"有多高。第二个叫Mean，是整个测试窗口期内的平均分，衡量它表现得稳不稳定。第三个和第四个更有意思，一个叫Learning Gain（学习增益）,拿最后几轮的平均分减去最初几轮的平均分，衡量"从开始到结束到底进步了多少"；另一个叫Learning Slope（学习斜率）,把所有轮次的得分拟合成一条直线，看这条线的倾斜程度，衡量整体的进步速度和方向。

这四把尺子合在一起用，才能避免被单一指标骗到。

举个例子，如果一个AI一上来就蒙对了高分，之后一直原地踏步，它的Max会很高，但Learning Gain几乎是零,这说明它根本没在学习，只是运气好。反过来，如果一个AI起点很低，但一路稳步爬升，它的Learning Slope会很陡，即便Max不算顶尖，这也证明了它确实具备学习能力。单独看任何一个指标，都可能被误导，必须四个一起看才靠谱。

十一个大模型同台竞技，结果出人意料

研究团队拿了十一个主流大模型,包括Claude Opus系列、GPT系列、Gemini系列、Kimi K3、Qwen 3.8 Max、DeepSeek V4 Pro等,放在同一个叫OpenCode的编程智能体框架里跑了一遍。

结果很有意思：拿分最高的模型和学习速度最快的模型根本不是同一个。

Claude Opus 5.5在最高分和平均分这两项上都是第一名，但要论"进步速度"这个指标，Qwen 3.8 Max反而更猛。这说明"考得好"和"学得快"完全是两码事，一个模型可能本来底子就厚，另一个模型可能是真正把每一次失败都转化成了经验。

研究者们还做了一件挺细致的事，他们扒开交互日志，看AI在失败后到底是怎么调整策略的。结果发现了一个挺扎心的差异：强模型会在反馈不符合预期时主动质疑自己的假设，重新测试；而弱模型经常是哪怕反馈已经告诉它某个策略不管用了，它还是会固执地重复用同一招。

还有个更微妙的问题：一些弱模型会一次性改变好几个变量，结果根本分不清到底是哪个变量在起作用。还是拿"投毒者"游戏举例，研究者发现GPT-5 Mini在某次实验里，一直按照菜单上的位置选菜，完全没有利用之前几轮的反馈信息去调整判断；而Kimi K3则会认真比对之前被接受和被拒绝的菜品，一步步排除掉不相关的因素，比如先排除"是否偏酸"这个维度不重要，再去测试"是否偏咸"。

这个对比特别像两个人学做菜。一个人每次炒糊了都换个菜继续炒，从不复盘上次到底哪步出了问题；另一个人每次失败后会认真琢磨，是火候大了还是时间长了，一点点缩小排查范围。如果不做这种系统性的归因分析，哪怕你炒了一百次菜，经验值可能也涨不了多少，因为你根本不知道哪次失败对应着哪个具体原因。

复杂的"进化方法"反而不如简单粗暴地留着原始记录

这是整篇论文里最让我意外的发现。

现在学术圈设计了不少花哨的"自我进化"方法，让AI把过去的经历提炼成规则、策略、工作流程，然后把这些浓缩后的精华喂给下一轮尝试。听起来很合理，毕竟人类学习不也是把经验总结成道理吗？

可实验结果打了这个思路的脸。

研究团队对比了六种不同的经验留存方式：

Naive方法什么都不留，每一局结束就把记忆清空；Memory方法把完整的原始互动记录原封不动地带到下一局；Reflexion方法会在每局结束后反思，提炼出简洁的经验教训；EvoTest会把历史记录进化成指导性的提示词和状态提取程序；ReasoningBank把每一局的经历浓缩成可复用的推理模式；AWM则是从成功的案例中归纳出可重复使用的工作流程。

结果显示，在Kimi K3这个模型上，什么都不加工、只是原封不动保留完整对话记录的Memory方法，反而在全部四项指标上都碾压了那些经过精心提炼和加工的方法。

这是为什么？

原因出在"提炼"这个动作本身是有损的。

论文里举了个很具体的例子，在GemForge这个炼宝石的游戏里，AI尝试了一次把玉石和蛋白石融合，结果失败了，只得到了废料。接下来EvoTest就根据这一次失败，往提示词里加了一条规则：不要再尝试任何高阶宝石的组合。问题是，这条规则是从仅仅一次失败里硬生生推出来的，它把本来还没验证过的大量其他组合方式，全都一刀切地打上了"不要尝试"的标签，其中就包括了原本可能成功的组合。

这就好比你第一次去一家新开的餐厅，点了个招牌菜结果踩雷了，于是你在心里给自己定了条规矩：这家店所有的菜都别点了。可实际上可能只是这一道菜的食材当天不新鲜，其他菜品完全没问题。如果你把原始的点菜经历完整保留着，下次路过还能想起来"其实我只试过那一道菜"，但凡你把经历压缩成了一条武断的结论，你就永远没机会推翻它了。原始证据的价值，就在于它给了后续修正错误结论的机会，而浓缩过的规则往往悄悄地把这扇门焊死了。

真人玩家吊打所有AI智能体

论文里还做了个挺朴素但很有说服力的对照实验：找来一批大学生，让他们玩同样的游戏，和AI进行真刀真枪的较量。

结果是，表现最好的真人玩家，拿到的最高分比所有被测试的AI模型和自进化方法都要高。

研究者进一步扒了行为数据，想搞清楚人类到底强在哪里。他们发现了两个关键差异：人类在连续两局游戏里，动作序列的相似度平均是0.54，也就是说人类经常换着花样尝试不同打法；而AI智能体的这个相似度高达0.66，明显更倾向于重复已经验证过的套路。

另一个发现更有意思：当人类上一局分数比前一局低的时候，有33%的概率在下一局就创下个人新高；而AI在同样情况下，只有22%的概率做到这一点。

这组数据说明了一件事：人类更擅长在失败之后主动求变，而AI更倾向于守着一个"还算凑合"的策略继续吃老本。

**这其实是一个探索和利用之间的经典权衡问题，而人类在这件事上目前还是领先的。**

不过这个优势也不是全方位的。论文里特别指出，人类在需要"想出全新打法"的游戏里表现更出色，比如涉及创造性组合的炼金游戏和需要构建社交网络的任务；而AI则在需要"精确执行一长串既定步骤"或者"做大量数值计算"的任务上更占优势，比如一个需要精确破案推理和救援流程的侦探游戏，以及一个需要用程序去反推隐藏规则的审计类任务。有意思的是，论文还观察到一些人类玩家在"模型审计"这类需要持续大量测试的游戏后期，测试次数明显减少了，这可能暗示着人类的耐心和精力是有限的资源,而AI恰恰不受这个限制。

换一套"外壳"，表现天差地别

这项研究还有一个容易被忽视但很重要的发现：同一个大模型，换一套包裹它的"操作框架"，表现能差出一大截。

研究者把同一个Claude Opus 5模型，分别放进OpenCode和Claude Code这两套不同的智能体框架里测试，结果Claude Code在全部四项指标上都明显胜出。同样地，把GPT-5.6-SOL放进Codex框架，表现也比放进OpenCode要好得多。

智能体框架:这里指的是围绕大模型搭建的一整套外部系统，包括工具调用方式、记忆管理机制、任务执行流程等，决定了模型"怎么干活"而不是"知道什么"。

这个现象的原因其实不难理解。模型在训练阶段往往就是跟着某一套特定的工具使用习惯和交互协议打磨出来的，当它被放进自己"熟悉"的框架里，表现自然更顺畅。更关键的是，有些框架给了模型更大的自主空间，比如OpenCode允许模型自己决定什么时候回看历史记录、什么时候先做计算验证再行动，而不是被框死在一套固定的"选动作、记笔记"流程里。

这就像让同一个厨师分别在自己熟悉的厨房和一个陌生厨房里做菜。哪怕菜谱完全一样，食材完全一样，厨师本人的手艺也没变，但如果陌生厨房里的刀具摆放、炉灶高度、调料位置都和他习惯的不一样，他做出来的菜品质量大概率会打折扣。如果不考虑这层"外部环境适配"的因素，单纯比较两个模型谁更聪明，可能会得出误导性的结论,因为你比的根本不是脑子，而是脑子加上它所处的那套工作环境。

更让人意外的是，这种更好的框架搭配往往还更省钱。研究者统计了推理成本，发现表现更好的那些配置，反而因为减少了重复喂入上下文、减少了模型调用次数，整体花费更低。这算是一个少见的"又好又省"的双赢案例。

场景一换，学到的东西还管用吗

论文还专门设计了一组实验，来回答一个非常实际的问题：AI学到的规则，能不能迁移到一个新的、没见过的具体场景里？

研究者对比了"重排型"游戏和对应的"固定对照组",固定对照组里同一个游戏实例被反复重复十轮，而重排组里每一轮的具体场景都会被打乱重排。两边的底层规则完全一致，唯一的区别就是表面细节变不变。

结果显示，像Claude Sonnet 5和Gemini系列这些模型，在场景发生变化后，学习速度明显大幅下滑；而Claude Opus 5和Kimi K3的下滑幅度则小得多。

论文里给出了一个具体案例，在SynergyCorp这个游戏里,玩家需要摸清不同"老板"角色的偏好,Opus 5能够把从之前几个老板身上总结出的规律，直接套用到新出现的老板身上；而Sonnet 5和Gemini 3.5 Flash则是每遇到一个新老板，都要重新从头测试一遍，完全没有利用之前的经验。

这个差异背后反映的，其实是"记住结论"和"理解原因"之间的根本区别。

研究者还提出了一个很精辟的观察：如果一个AI只是记住了"上次这么做管用"，但没搞清楚"为什么这么做管用"，那么当场景一变，它过去的成功经验反而可能误导它。比如记住了"上次菜单第三项是对的"，这个结论到了新菜单里根本没用，但如果它理解的是"国王不喜欢酸的菜"这条底层规律，不管菜单怎么换，这条规律照样适用。

这就好比两个学生准备考试，一个死记硬背了某道例题的具体数字答案，另一个理解了解题的公式和推导过程。如果考试换了一套数字,死记硬背的那个立刻抓瞎，理解原理的那个照样能算出正确答案。如果训练AI的时候从不测试场景变化后的表现，你很可能会被表面的高分骗了，误以为它真的学会了，实际上它学会的可能只是如何应付这一道特定的题目。

那么，学习到底卡在哪儿了

论文最后还总结了几个限制AI进一步进步的障碍，这部分内容挺值得细品。

第一个障碍是探索停滞。有些AI找到一个"还凑合能用"的策略之后，就不再去尝试别的可能性了。论文里的例子是，在炼宝石游戏GemForge里，一个Opus 5模型在尝试几次失败后，直接下结论说更高阶的宝石根本炼不出来，然后此后一直重复着那个只能拿到中等分数的保守配方。

第二个障碍更微妙，叫"知道规则却不会规划"。在一个叫"闹鬼旅店"的游戏里，玩家需要把客人安排进不同房间，同时避开若干隐藏的禁忌规则。有一次Opus 5明明已经清楚地说出了所有相关的禁忌规则，但它分配房间的时候用的是"贪心"策略,也就是走一步算一步，先把眼前能安排的客人塞进房间，结果到了最后一位客人，发现已经没有安全房间可以分配了。等到下一局，它才学会提前为后面可能出现的高风险客人预留房间。

这两个障碍合在一起，揭示了一个挺深刻的问题：AI现在的学习，更多是停留在"我知道了一个事实"这个层面，而不是"我能把这个事实用来做长远规划"的层面。知道规则和用好规则之间，还隔着一整段距离。

写在后面

读完这篇论文，最让我回味的其实不是哪个模型排名第一，而是那个关于"浓缩经验反而学得更差"的发现。

这事儿其实戳中了一个我们平时很少去质疑的默认假设:我们总觉得总结经验、提炼道理是一件天经地义的好事，学习不就应该越学越精炼吗？可这篇论文用实打实的数据告诉你，提炼这个动作本身是有代价的，它会把本来还不确定的东西固化成看似确定的结论，而这种固化一旦发生在证据不充分的时候，反而会变成绊脚石。

这让我想到一个更大的问题：现在很多"知识管理"的思路，不管是给AI设计的记忆系统，还是我们人类自己整理笔记、写复盘报告，是不是也存在同样的陷阱？我们是不是也经常把一次性的、偶然的经历，过早地固化成了"放之四海而皆准"的规律？

另一个让我停下来想了很久的点，是那个"33% vs 22%"的数字对比,人类在失败后创新高的概率比AI高出整整11个百分点。这个数字背后，可能藏着一个比AI能力更本质的问题：我们到底是怎么决定"什么时候该换个思路，什么时候该坚持原策略"的？这个判断本身，现在还没有一套清晰的规则能描述清楚，也许这正是人类智能里最难被模仿的那一部分。

AI会不会哪天也学会在跌倒之后，不是默默爬起来重走老路，而是停下来，想一想，换条路试试？

Q&A

Q1：Learn2Play Bench是什么？

A：Learn2Play Bench是新加坡国立大学团队开发的一套评测基准，包含20个全新设计的文字游戏，规则都刻意设计得反常识，用来测试AI智能体是否真的能从互动中学习，而不是依赖训练时已有的知识。

Q2：为什么说浓缩经验的AI学习方法反而不如直接保留完整记录？

A：因为把经验提炼成规则的过程会丢失原始证据，一旦从不充分的证据中得出了错误结论，AI就没机会再回头修正它。而保留完整互动记录能让AI在后续反复核对原始证据，及时调整判断。

Q3：人类玩家和AI智能体在游戏中的表现差异体现在哪里？

A：表现最好的人类玩家能拿到比所有AI配置都高的分数，并且人类更愿意在失败后尝试新策略，连续动作重复率更低，失败后创新高的概率也明显高于AI智能体。