当AI考试能力超过出题老师，评测体系该怎么办？

2026年初，一个让AI圈子有点坐立不安的现象出现了：顶尖的科学智能体，在一批批人类专家精心设计的基准测试上，分数越来越逼近满分。

这本该是好消息。但你仔细想想就会发现问题：如果一张卷子所有学生都能考95分以上，这张卷子还能告诉你谁更强吗？

这正是Genentech和KAIST联合团队在这篇论文里要解决的核心困境。他们给出的方案有点意思，叫AutoSciBench，一个让AI自己给AI出题、自己给AI的答案打分、然后根据打分结果不断把题目出得更难的系统。

听起来有点像左右手互搏，但背后的逻辑其实很扎实。我们慢慢拆开来看。

考试题目为什么会"过期"

先说清楚一件事：为什么科学领域的AI评测特别容易"过期"。

普通的语言模型测试，比如数学题、常识问答，出题相对简单，因为答案通常就藏在题目或者模型的知识库里。但科学智能体不一样，它面对的是真实的实验数据，需要去读取、分析、推理，最后给出一个结论。

论文里举了一个特别清楚的对比例子。假设你让一个AI去修一个代码bug，报错信息会直接告诉你"第42行，无法识别的命令"，AI只要盯着这行代码改就行，改完跑一下测试，通过了就是通过了，这是**显式反馈**。

显式反馈：系统直接告诉你哪里错了、改得对不对的信号，比如代码报错、测试用例是否通过。

但如果你让AI去判断"哪个基因互作对的因果调控证据最弱"，情况完全不同。AI拿到的是一堆基因表达测量值和染色质接触数据，这些数据本身不会说"我支持因果关系"或者"我不支持"，AI必须先分析平均表达量，再往深一层看guide-level的具体效应，然后把这两种证据放在一起权衡，才能得出结论。这叫**间接证据**，论文管这个要求叫"从间接证据进行科学推理"。

如果评测题目只停留在第一种"显式反馈"的层面，AI很容易靠蒙对、靠捷径就拿到高分，根本测不出它有没有真的理解数据。这就好比让学生考试，如果题目都是"1+1等于几"，学生闭着眼睛也能蒙对，你永远测不出谁真的理解了数学原理。

那怎么才能让题目一直保持挑战性？人工出题行不行？理论上行，但现实很骨感：构建一套合格的科学评测题目，需要同时懂这个科学领域、懂数据构造、懂怎么设计一个"不能靠蒙"的题目，还要反复验证答案唯一可查。这种活儿，一个博士生可能要憋好几周才能产出几十道题。而AI模型几个月就能迭代一代，题库更新速度完全追不上。

这就是论文要解决的根本矛盾：评测体系的构建速度，跟不上智能体能力进化的速度。

两层蓝图：先想清楚考什么，再想清楚怎么考

AutoSciBench的核心设计思路分成两层，一层叫**概念**，一层叫**配方**。

概念：高层规划，描述一道题要测试什么能力，包括三个维度，科学领域（比如计算生物学里的表观遗传学）、数据形态（比如一张基因表达表格）、以及需要用到的分析操作（比如推断调控关系、整合多模态证据）。

配方：低层规划，把概念落地成一道具体题目的设计方案，决定数据从哪来、答案怎么藏、问题怎么问、答案怎么验证。

为什么要分成两层，而不是让AI直接一步到位写题目？

这里有个很实际的考量。如果让AI一股脑儿直接生成题目和数据，很容易出现这样的情况：题目看着挺像那么回事，但解题路径其实有个捷径，比如AI只需要调用一次工具、看一眼输出结果就能蒙对答案，根本不需要你设计的那套"分析平均表达、再看guide级别效应、再整合证据"的复杂流程。

分层之后，概念专门负责回答"这道题到底想考什么能力"，配方专门负责回答"怎么把这个能力装进一道具体的题目里"。这样当发现题目有问题的时候，系统可以精确定位，是概念本身定得太浅，还是配方的执行方式留了漏洞，分别去修。

这就像装修房子，设计师先出一张平面布局图，定好客厅在哪、卧室在哪、动线怎么走，这是"概念"层；然后施工队再按照平面图去决定具体用什么材料、插座装在哪个高度、水管怎么走线，这是"配方"层。如果房子住进去发现采光不好，你得先搞清楚是布局图本身的朝向设计有问题，还是施工的时候某个环节走偏了，不分层的话，你根本不知道从哪下手改。如果不分层，直接一锅端让装修队自己连设计带施工全包了，出了问题你永远说不清是哪个环节的锅。

有了概念和配方，接下来就是把它们变成一道真正能用的题目，包括问题文本、配套的数据文件，还有一个唯一确定的标准答案。做题的智能体会拿到题目去尝试解答，然后一个裁判模型会给这道题打分，看它是不是"可验证"（有没有唯一确定的答案），以及"难不难"（解题智能体能不能稳定答对）。

从"一做就对"到"做三次都错"：反馈驱动的迭代打磨

这是整篇论文里我觉得最巧妙的一个环节。

刚生成的题目往往太简单。论文里的实验数据证实了这一点：初始版本的题目里，绝大多数都被生成题目的那个AI自己轻松解开了。这很正常，毕竟出题和解题用的是同一个模型，它自己设计的题目，自己当然容易摸清套路。

AutoSciBench的做法是，让解题智能体对每道题独立尝试三次，然后裁判模型根据这三次的答题轨迹和最终答案，判断这道题是"简单"（三次都对）、"中等"（部分对）还是"困难"（三次都错），同时还会判断这道题是不是"可验证"的，也就是有没有歧义、答案是不是唯一。

如果一道题既不够难，又或者存在歧义导致不可验证，系统就会启动修订。修订分两种，一种是只改配方，保留原来的概念，比如把数据里藏的信息改得更隐蔽，让题目需要多一步验证或者整合才能解开；另一种更彻底，直接改概念本身，换一种完全不同的分析要求。

论文里给了一个特别生动的例子，关于基因测序里的UMI（唯一分子标识符）。

UMI：unique molecular identifier的缩写，是测序实验里给每个原始分子加的一段独特"条形码"，用来区分不同的分子，避免因为PCR扩增造成的重复计数误差。

最初版本的题目，数据是"干净"的，UMI序列之间没有任何错误，智能体只需要数一数有多少种不同的UMI序列，就等于数出了原始分子的数量，这是一次直接的中间结果读取。但现实世界的测序数据从来不会这么干净，总会存在测序错误，导致同一个原始UMI分子被读出好几个略有差异的序列。

于是经过几轮refinement之后，题目里的数据被改造成带有真实测序误差模式的版本，比如序列里某个碱基位点出现了随机的变异。这时候，如果智能体还是傻乎乎地"数不同序列的种类"，答案就会被错误地放大，因为每一个测序错误都会被误判成一个全新的UMI。正确的解法需要智能体结合"错误感知的分组"策略，区分哪些差异是真实的原始UMI不同，哪些只是测序噪声导致的变体。

论文提到，三次独立的解题尝试里，智能体全都踩了这个坑，把带错误的序列误判成了独立的UMI，最终给出了错误答案。这正是refinement机制想要的效果：把一道"看一眼中间结果就能解"的题目，逼成一道"必须回头重新审视原始数据，识别测量误差，再整合多方证据"的题目。

这个过程让我联想到健身房里的渐进超负荷训练。如果你一直举同样重量的哑铃，肌肉很快就会适应，不再有任何锻炼效果，你必须根据身体的反馈不断加码，才能持续进步。如果不这样做，训练效果就会停滞在原地，你以为自己一直在变强，实际上早就触碰到了天花板而不自知。AutoSciBench对题目做的事情，本质上就是这种渐进式加码，只不过加的不是重量，而是题目要求的证据整合深度。

论文统计了十轮迭代的难度分布变化：第0轮（最初版本）里困难题目的比例极低，但随着迭代轮次增加，困难题目的比例持续攀升，到第九轮时已经有相当比例的题目变成了"三次全错"的硬骨头。有意思的是，用Claude Opus 4.8做生成器的时候，这种难度爬升的幅度比用GPT-5.6 Sol做生成器时更明显，说明不同模型在"自己给自己出难题"这件事上的能力也不太一样。

经验记忆：让每一次失败都变成下一次出题的养分

光是对单道题做迭代打磨还不够。论文作者意识到一个问题：如果每次生成新的概念都是从零开始，很可能会反复踩进同一个坑，设计出类似的、容易被同一种捷径攻破的题目。

于是他们引入了**经验卡片**的机制。

经验卡片：每完成一轮概念的refinement之后，系统会回顾整个过程，总结出"哪些题目设计容易被一步解开"、"哪些修订方式真正提升了难度"、"还有哪些遗留问题没解决"，把这些观察整理成一张可复用的指导卡片，存入经验记忆库。

下一次生成新概念的时候，AI不再是两眼一抹黑地凭空想，而是会参考这些经验卡片，结合外部文献和已有基准题目，提出新的概念。

论文里有个对比案例特别能说明问题。早期有一个关于半导体PN结电容特性的概念，核心考察的是"识别掺杂类型、恢复内建电势、检查两者是否自洽"这三步分析逻辑。经过refinement之后，这个概念积累了相应的经验。后续生成的新概念，换到了完全不同的物理场景，半导体光学吸收谱和带隙测定，但依然延续了同样的三步分析骨架：判断是直接跃迁还是间接跃迁、从正确的线性化方式恢复出带隙能量、排除错误的指数假设。虽然换了完全不同的知识领域和数据形态，但"识别机制、恢复目标量、验证一致性"这套解题思维被完整继承了下来，而且后面这道新题被裁判评为"困难"，前一道只是"中等"。

这让我想起一个老师带学生的场景。一个经验丰富的老师不会每次出考题都从头构思，他脑子里早就攒下了一套"这类知识点学生容易在哪里栽跟头"的判断，换个知识点出题的时候，会自然而然把这套"埋坑"的经验用上。如果一个新老师完全没有这种积累，每次出题都是孤立的、不借鉴之前任何经验，那么他大概率会不断地重复设计出那种"一眼能看穿"的题目，因为他压根不知道学生上次是怎么蒙混过关的。

论文用消融实验验证了这套机制的价值。在材料科学领域，有没有经验指导，对比非常直接：没有经验指导的情况下，解题智能体的成功率是66.7%，困难题目占比只有15%；引入经验指导之后，成功率骤降到35%，困难题目占比飙升到50%。这组数字摆在那里，说明经验记忆不是锦上添花的装饰，而是实打实提升出题质量的关键一环。

三个领域的实测，成绩单怎么样

说了这么多设计思路，实际效果到底如何？

研究团队选了三个差异很大的科学领域做测试：计算生物学（基于CompBioBench）、材料科学（基于MatTools）、临床影像（基于MedCTA），分别用Claude Opus 4.8和GPT-5.6 Sol作为生成器，各生成了50道题，构成新的基准。

结果相当直观。在计算生物学领域，人工精心设计的原始基准测试上，十个被测模型的平均准确率是79.8%；而在Opus 4.8生成的新基准上，这个平均值掉到了57.4%，足足低了22.4个百分点。材料科学领域的落差更夸张，人工基准上平均准确率高达95.7%（已经接近满分，说明这套老题已经测不出区分度了），换成生成的新题之后，平均准确率跌到70.2%，相差25.5个百分点。

更关键的是这种难度的提升不是只针对某一个特定模型的"投机取巧"，用来生成题目的那个模型未必是答题能力最强的那个。论文发现一个挺反直觉的现象：Claude Opus 4.8生成的题目普遍比GPT-5.6 Sol生成的题目更难，但如果单看答题能力，GPT-5.6 Sol其实整体表现更强。这说明"擅长解题"和"擅长出一道好题"根本是两种能力，并不划等号，就像一个数学考满分的学生未必是出题的最佳人选，出题需要的是更深一层对"学生会在哪里卡住"的洞察力，而不只是自己会不会做。

有一个细节特别值得拎出来讲：模型迭代的速度快到什么程度，看看这组对比就知道了。用来生成题目的是Opus 4.8和GPT-5.6 Sol，而几个月后发布的新一代模型Opus 5和GPT-6 Astra，在各自对应的生成基准上，准确率分别反超了19.5个百分点和15.1个百分点。换句话说，一套刚出炉没多久、专门为了难倒上一代模型而精心设计的题库，面对下一代模型的时候，挑战性又被大幅削弱了。这恰恰印证了论文开篇提出的那个核心焦虑：评测跟不上模型进化的速度。而AutoSciBench给出的应对方式不是指望一套题目能用很多年，而是把新模型随时拉进这个"出题-答题-裁判-修订"的循环里，让基准本身也具备持续更新的能力。

那么生成出来的题目质量到底行不行，会不会为了难而难，牺牲了题目本身的科学意义？研究团队设计了三个维度的质量评估，分别由两个独立的裁判模型打分：**可验证性**（答案是否有唯一、可复现的判定标准）、**有用性**（题目是否对应真实科研场景里有意义的分析任务）、**适配性**（是否真的需要观察、规划、工具执行、中间结果解读这类智能体特有的能力，而不是单纯考察静态知识）。

每个维度满分5分。结果是，生成的题目在三个领域里全面超越了人工基准的平均分。拿计算生物学举例，人工基准的平均分是3.18，而GPT-5.6 Sol生成的基准平均分达到4.28，Claude Opus 4.8生成的也有3.93。材料科学领域的反差尤为明显：人工基准平均分只有2.54分，这主要是因为可验证性虽然打了4.76的高分，但有用性只有可怜的1.49分，意味着这些题目虽然答案唯一，但跟真实研究场景的相关度不高；而生成的题目在有用性和适配性上都有大幅提升，整体平均分达到3.87到4.06之间。

有一个值得深挖的发现是，去掉"配方"这一层规划、或者同时去掉"概念"和"配方"两层规划，只让系统凭空生成题目，refinement的效果会明显打折扣。完整框架下，随着迭代轮次增加，解题成功率持续走低；而去掉规划层之后，成功率下降得慢得多，甚至有反弹的情况。这说明，把"要测什么"和"怎么测"这两层想清楚、写下来、形成可以被精确修改的中间产物，比起直接对最终题目做模糊的修改要有效得多。

这里藏着一个挺朴素的道理：改一份已经写好的产品说明书，远不如改一份清晰的设计蓝图来得有效率。如果你只盯着最终成品反复小修小补，很容易只是在表面打转；但如果你能回到设计阶段，精确定位"是整体定位错了，还是具体实现走偏了"，修改才能真正触及根本。如果不分层，你相当于永远在给一栋已经建成的房子打补丁，始终碰不到那张最初的图纸。

写在后面

读完这篇论文，最让我意外的其实是那道测序纠错题。它让我突然意识到，科学推理这件事的难点，从来不在于"模型会不会算"，而在于"模型知不知道自己该质疑什么"。三次独立的解题尝试，三个顶尖智能体，全都在同一个地方栽了跟头，不是算错了数，而是压根没想到要去质疑那些看起来"合理"的中间结果。这种失败模式其实跟人类专家犯错的方式挺像的，经验不足的研究者也容易把测量噪声当成真实信号。

还有一个细节让我反复琢磨：论文发现出题能力和解题能力并不是同一回事，甚至可能存在某种错位，答题更强的模型未必更擅长设计出能难倒别人的题目。这多少打破了一种朴素的直觉，我们总以为"越聪明的AI越能看穿题目的漏洞"，但设计一道好题需要的其实是另一种能力，更像是一种"预判别人会怎么犯错"的洞察力，这和"自己能不能做对"是两条不完全重合的能力轴线。这个发现对以后怎么选择"出题AI"这件事，可能比想象中更重要。

还有一处细节，论文专门算了生成每道题的成本，Opus 4.8平均每道题二十到六十美元不等，GPT-5.6 Sol则要贵上一倍多，但前者生成的题目反而更难。这个性价比差异背后，可能藏着模型架构或者推理策略上更深层的东西，但论文没有继续深挖，留给了读者自己去想。

如果有一天，AI出的题开始连人类专家都看不懂评分标准了，我们又该用什么去评测那个"出题的AI"本身？

Q&A

Q1：AutoSciBench是什么？

A：AutoSciBench是一个能自动生成和迭代更新科学智能体评测基准的框架，由Genentech和KAIST团队提出，覆盖计算生物学、材料科学、临床影像三个领域，核心是让AI自己出题、自己打分、根据反馈不断把题目改难。

Q2：AutoSciBench生成的题目比人工基准更难吗？

A：是的，在计算生物学和材料科学领域，生成基准相比人工精心设计的原始基准，平均解题准确率分别下降了22.4和25.5个百分点，同时生成题目的质量评分在可验证性、有用性、适配性三个维度上反而高于人工基准。

Q3：AutoSciBench怎么保证生成的题目不是靠蒙就能答对？

A：它采用反馈驱动的迭代修订机制，让解题智能体对每道题独立尝试三次，裁判模型根据答题轨迹判断题目是否存在捷径解法，如果题目太简单就会修改数据设计或分析要求，逼迫题目需要原始数据重新审视、中间结果验证和多方证据整合才能解开。