科技行者 2026-11-18 09:25:43
2024年,一个挺尴尬的现实摆在科学界面前。
大语言模型读遍了几乎所有能找到的化学和生物文献,你问它"什么样的分子可能治疗癌症",它能头头是道地讲出一堆机制和原理。但你让它直接画出一个分子结构,它经常连基本的化学规则都守不住,生成的东西要么不稳定,要么根本不存在于现实世界里。
另一边,专门训练来生成分子和蛋白质序列的模型,比如flow模型和扩散模型,它们确实能造出结构合理、符合物理规律的候选分子。但这些模型是哑巴,你跟它说"我要能治疗癌症的分子",它完全听不懂,因为它压根不知道"癌症"是什么,它只知道怎么排列原子让分子看起来合理。
**这就是一个很滑稽的分工:懂科学的不会造东西,会造东西的不懂科学。**
这篇来自苏黎世联邦理工学院、宾夕法尼亚大学等机构的论文,就是想把这两种能力缝合起来。他们管这个方法叫LFD,全称LLM-to-Flow Distillation(大语言模型到流模型的蒸馏)。
核心问题:为什么不能直接给个奖励函数就完事了
如果你了解过AI领域怎么优化生成模型,你可能会说:这还不简单,给模型一个奖励函数,告诉它什么样的分子得分高,然后用强化学习去调整不就行了?
过去几年确实有不少方法是这么干的,比如FlowGRPO、Adjoint Matching、DiffusionNFT这些,它们都假设你手头有一个靠谱的评分器,能告诉生成的候选对象到底好不好。
问题是,在真实的实验科学里,这个评分器往往根本不存在。
一个"抗癌活性"这种目标,不是你拍个照片让AI打分就能测出来的,它需要做真实的细胞实验、动物实验,耗时又耗钱。即便你训练一个预测模型去近似这个评分,这个预测模型在你最想探索的那些新颖、罕见的区域里,恰恰是最不准的,因为它根本没见过那种数据。
> **代理奖励(proxy reward)**:用一个可计算的近似指标去代替真正难以测量的目标,比如用一个预测模型的打分代替真实的实验结果。
这就引出论文要解决的真正问题:能不能让科学家直接用一句大白话,比如"生成有潜在抗癌活性的多肽",去指挥一个专门的生成模型,而不需要先把这句话翻译成一个数学意义上的奖励函数?
LLM说的话能信吗:先测一测它的可靠性
在设计整个系统之前,作者们先做了一件很审慎的事:测试大语言模型到底能不能靠谱地评判科学候选对象。
他们选了三个前沿模型,GPT 5.6 Terra、Claude Opus 5、Gemini 3.7 Flash,让它们在三个完全不同的科学领域里打分。第一个任务是给多肽序列评估"疏水矩"这个物理化学性质,第二个是给晶体结构评估稳定性,第三个是给小分子评估脂溶性。每个任务都有真实的计算值作为标准答案,但不告诉AI。
结果很有意思。
如果让AI直接打一个1到100分的绝对分数,这个分数跟真实值的误差相当大,图3里画出来的散点图跟理想的对角线差得挺远,平均误差能到十几二十分。
但如果换一种问法,不问"这个分子值多少分",而是问"A和B哪个更好",准确率立刻从接近乱猜提升到明显高于50%的随机基线。换句话说,AI不会精确量化一个东西的好坏,但它知道哪个相对更好。
这个发现其实跟我们日常生活中判断事物的方式很像。你让一个资深厨师给一道菜精确打"78.5分",他大概率会犹豫,因为这个数字本身没有明确的参照系。但你让他说"这道菜比刚才那道咸了点",他能立刻给出判断,因为这是一个相对比较,不需要绝对标尺。如果非要逼着AI给出精确的绝对分数,这个分数拿去训练模型,得到的信号噪音极大,模型学到的可能是一堆错误的梯度方向,训练效果反而更差。
论文把这个现象叫做challenge 1:绝对分数可能失准,但相对排序往往更可信。基于这个发现,他们决定整个系统只用AI的相对判断,不用绝对打分。
更棘手的问题:模型压根没见过你想要的东西
即便相对判断是可靠的,还有第二个坎要过。
想象一下,你有一个预训练好的分子生成模型,它是在海量"药物样"分子上训练出来的。现在你想让它生成能结合某个特定蛋白质靶点的分子,但这个靶点相关的结构在训练数据里几乎不存在。
这时候如果你直接把最终目标丢给AI去打分,让它去判断生成模型吐出来的那堆候选对象谁好谁坏,可能会出现一个尴尬局面:所有候选对象在AI看来都是负样本,因为它们压根没有一个沾边。这种情况下,没有正样本可以用来对比,模型就学不到任何有用的方向,训练直接卡死。
论文把这叫做challenge 2,这个情况在真实的科学发现任务里特别常见,因为科学家感兴趣的往往恰恰是那些现有数据里稀缺的、新颖的区域。
> **分布外(out-of-distribution, OOD)**:指某个样本或目标,跟模型训练时见过的数据分布差异很大,模型对这类情况往往表现很差。
这个问题可以类比成教一个只会说中文的孩子突然去读法语文章。如果你直接拿一篇原版法语小说让他去理解,他一个字都看不懂,你无法从他的反应里得到任何学习信号,因为对他来说所有内容都是同等的"不懂"。合理的做法是先从最简单的法语单词教起,一步步加深难度,让他在每一步都能分辨出"我懂的"和"我不懂的",这样才有东西可以学。如果跳过这个渐进过程,直接扔给他高难度内容,教学效果等于零。
这正是LFD要解决的核心设计难题。
LFD怎么工作:让AI当一个会因材施教的老师
理解了上面两个难题,LFD的设计思路就清晰了。
整个系统的核心比喻是,把大语言模型当作一个老师,把专门的生成模型(论文里主要用的是flow模型)当作学生。老师不会一上来就把终极目标甩给学生,而是先观察学生当前的水平,给出一个学生够得着的中间目标,等学生在这个中间目标上进步了,再逐步把目标往最终方向收紧。
> **flow模型(流模型)**:一类生成模型,通过学习一个连续的变换过程,把简单的噪声分布逐步转化成复杂的目标数据分布,比如真实的分子结构或蛋白质序列。
这个过程论文用了一个很形象的描述,就像登山一样,不是让你直接盯着山顶走,而是先定一个你现在能到达的营地,到了营地再往上走一步,一步步逼近顶峰。
具体来说,每一轮迭代分四步走。
第一步是采样和观察。当前的生成模型吐出一批候选对象,比如100条多肽序列或者一批分子结构,然后把这些候选对象转换成大语言模型能理解的表示形式,比如分子的化学式、官能团、极性表面积这些可计算的描述符。
第二步是选定当前目标。大语言模型先判断最终目标对当前这批样本是不是有区分度,如果一个都够不上,就退而求其次选一个更容易达成的中间目标。这个中间目标必须满足几个条件:在当前样本里能找到足够多的正例和反例,而且要跟最终目标有科学上的逻辑联系,不能是随便编一个不相关的东西。
第三步是构造偏好数据。在选定的目标下,大语言模型对每个候选对象独立判断两次,给出"正向"、"负向"或者"弃权"三种标签中的一个。只有两次判断完全一致的样本才会被采纳,这是为了过滤掉AI自己也拿不准的边界情况。所有正向样本和负向样本两两配对,就构成了一批偏好数据。
> **DPO(Direct Preference Optimization,直接偏好优化)**:一种不需要显式训练奖励模型,直接用"A比B好"这种偏好数据来调整生成模型的训练方法。
第四步是把这些偏好数据蒸馏进生成模型。这里用的技术是DPO,一种直接用偏好对来调整模型参数的方法,不需要先训练一个独立的打分器。每一轮训练完,生成模型会用更新后的参数重新采样,这批新样本又会被AI重新评估,循环往复,直到逼近最终目标。
论文在数学上证明了,这个过程其实是在每一轮都朝着一个被KL散度约束住的理想分布靠近。
> **KL散度(Kullback-Leibler divergence)**:一种衡量两个概率分布差异程度的数学指标,在这里用来约束模型更新的幅度,防止模型一下子偏离太远导致不稳定。
这意味着模型不会因为某一轮的偏好信号有偏差就彻底跑偏,它每次只迈一小步,并且这一步有理论上的保证,不是瞎调。
这种循环往复的训练节奏,很像是健身房里的私教带新手。私教不会一上来就让你举200斤的杠铃,他会先观察你今天状态怎么样,设定一个你努力一下能完成的重量,这一组做完了,根据你的表现,下一组再适当加重。如果教练固执地从第一天就要求你举最终目标重量,你大概率一次都举不起来,教练压根看不出你哪里需要改进,因为你每次都是彻底的失败,没有任何有效反馈。正是这种渐进式的、根据实时反馈调整难度的教学方式,才让进步变得可测量、可持续。
实战检验:多肽和小分子的两场硬仗
理论说得再好,也得看实际效果。论文在两个大的科学领域做了测试:治疗性多肽设计和小分子药物设计。
第一个目标是生成既有潜在抗癌活性、又对健康细胞毒性低的多肽。这里用的生成模型是PepDFM,一个基于离散流匹配的多肽序列生成器。LFD生成的课程一共经历了七个中间子目标,从最初的"带正电荷"这种非常宽泛的要求,逐步收紧到"具备正电荷、疏水残基、芳香族界面锚点",再到后面排除半胱氨酸、避免脯氨酸聚集、避免过度的阳离子片段这些更精细的要求。
对比的基线方法包括直接用一个抗癌肽预测器做引导的GUIDANCE、用同一预测器做偏好优化的DPO,还有最新的DiffusionNFT方法。这些基线方法全都依赖一个叫ACP的抗癌活性预测器作为训练信号。
结果表格显示,LFD在一个完全独立的、训练中从未用过的评估器AntiCP2-alternate上拿到了53.54%的得分,远超DiffusionNFT的33.26%和GUIDANCE的35.94%,同时毒性指标HemoPI2也控制在相对较低的水平。
更有意思的是GUIDANCE这个基线暴露出的问题。它在训练时用的那个抗癌活性预测器上,得分直接冲到了100%,看起来训练得完美无缺。可是换到一个独立的评估器上一测,只有35.94%。
这就是典型的**代理奖励过拟合**现象,模型学会了讨好那个具体的打分器,而不是真正学会了抗癌活性相关的生物学规律。
> **奖励欺骗(reward hacking)**:模型找到了能让代理评分变高、但并不真正符合原始目标的"捷径",导致代理分数和真实效果脱节。
LFD因为压根没有用任何固定的代理打分器,而是每一轮都让AI基于化学和生物学原理重新判断,这种"活的"评估方式天然规避了这种欺骗行为。
这就像一个学生如果只盯着某一张固定的模拟卷反复刷题,他能把那张卷子的每一道题都背下来,拿满分,但换一张新卷子立刻现原形,因为他学的是这张卷子的套路,不是真正的知识。如果老师每次都换一套新题来考他,他就没法靠死记硬背蒙混过关,只能真正理解知识点。
LFD的机制本质上就是不断换题的老师。
第二个多肽目标是细胞穿透肽设计,也就是能够穿过细胞膜、把药物送进细胞内部的多肽。这次LFD用了三个中间目标,最终在pLM4CPPs这个独立评估器上从预训练模型的8.81分一路涨到69.06分,远超最好的基线DiffusionNFT的57.04分,同时毒性指标也是所有方法里最低的。
在小分子设计这边,论文用了FlowMol3这个能同时生成分子拓扑结构和三维几何构型的流模型,目标是针对多巴胺D2受体和GSK3β激酶这两个药物靶点设计分子。
评估方式用了三种独立的对接打分工具,GNINA、Vina、rDock,这三个都是计算化学里常用的衡量分子和蛋白质结合强弱的方法。在D2受体这个任务上,LFD在三项评估里全部拿到最好成绩,GNINA从预训练的6.11涨到6.54,Vina从-7.52改善到-8.48,rDock从-7.64改善到-9.89,而且分子的化学有效性保持在98%,构象质量达到89.5%。
在GSK3β这个任务上,LFD同样全面超越了包括FlowGRPO在内的所有基线方法,把GNINA从5.80提升到6.77,是所有方法里涨幅最大的。
最能说明问题的是论文设计的第五个实验,一个异常复杂、几乎不可能用传统方式编写奖励函数的目标:要求分子同时含有一个特定位置带游离氨基的六元杂芳环,以及一个单独的、含游离仲胺的全饱和环,而且这两个环不需要通过碳原子直接相连。
这种结构约束如果要写成一个传统的奖励函数,得处理拓扑结构识别、官能团定位、原子邻接关系判断,工程量巨大且容易出错。但LFD只需要用自然语言把这个要求描述清楚,AI就能理解并据此判断。
更惊人的是对比结果:预训练模型在38500个样本里一个符合要求的都没找到,而LFD只用了六轮迭代,在第六轮的512个样本批次里就命中了一个完全符合全部结构要求的分子。
所有的基线方法在这个任务上全部失败,哪怕给它们一个由AI生成的、实现了完整目标逻辑的二元奖励函数也不行,原因就是最开始的正样本太稀疏,这个奖励函数根本提供不出有效的学习信号。
LFD靠着那套逐步收紧的课程机制,硬是在这片近乎空白的区域里踩出了一条路。
透明和可解释:科学家能看懂AI在想什么
除了效果上的提升,LFD还有一个容易被忽略但很重要的特点,就是整个过程是透明的。
论文里展示了一个被拒绝的多肽案例。AI给出的理由是这条序列含有一段连续的疏水氨基酸片段MLIVFVL,违反了当前子目标的要求,同时它还诚实地标注出自己判断的局限性,比如体外溶血实验的具体阈值和在生理缓冲液中的聚集状态它并不掌握。
这种带着理由和不确定性标注的判断过程,让科学家能够实时介入、检查、甚至纠正AI的判断逻辑,而不是面对一个纯黑箱的打分系统,只能被动接受结果。
这一点跟传统强化学习方法形成鲜明对比。那些方法的奖励函数一旦设定好,中间过程基本不可见,出了问题你很难定位到底是哪个环节出了偏差。LFD相当于把决策过程摊开放在桌面上,每一步为什么这么判断,都有迹可循。
写在后面
读完这篇论文,我最触动的一点是那个关于"绝对分数不可靠、相对判断更可信"的实验发现。
这其实揭示了一个更普遍的认知规律,人类专家做判断的时候,往往也更擅长相对比较而不是绝对量化。一个经验丰富的医生,让他给病人的健康状况打一个精确到小数点的分数,他会很犹豫,但让他判断"这个病人比上周严重了还是好转了",他能很快给出判断。这篇论文某种程度上是把这个认知规律,系统性地搬到了AI系统设计里,而且用三个独立模型、三个不同科学领域的实验把它量化验证了出来。
另一个让我反复琢磨的细节是,论文里那个课程生成机制并不是预先设定好的固定脚本,而是每一轮都根据生成模型当前的实际表现动态调整。这跟经典的模拟退火、课程学习有相似之处,但不同的是,这里负责设计"课程难度"的不是一个算法规则,而是一个具备科学推理能力的语言模型。这意味着这套课程本身带有可解释的科学逻辑,而不是纯粹的数值调参。
这篇论文没有解决的问题也挺明显。整个系统高度依赖前沿大语言模型的API调用,论文里提到单次实验的API成本从几美元到近八十美元不等,这个成本在大规模筛选场景下会迅速累积。而且目前所有的验证都停留在计算机模拟层面,真实的湿实验验证还没有做,论文结尾也坦率地把这个列为下一步方向。AI判断出来的"这个分子看起来有抗癌潜力",最终还是要靠一支移液枪和一块培养皿来验证。
Q&A
Q1:LFD是什么,它和传统的强化学习微调方法有什么区别?
A:LFD全称LLM-to-Flow Distillation,是让大语言模型当教师、指导flow生成模型学习的一种方法。和传统强化学习方法不同的是,它不需要一个显式的代理奖励函数,而是让大语言模型根据科学原理直接判断候选分子或多肽是否符合要求,再把这种判断转化为偏好数据去调整生成模型。
Q2:为什么不能直接让大语言模型给分子打绝对分数来训练生成模型?
A:论文实验发现,大语言模型打的绝对分数(比如1到100分)和真实数值误差很大,但它做相对比较(A比B好)的准确率明显高于随机水平。所以LFD只采用相对偏好信号,不依赖不准确的绝对打分,这样训练出来的信号更可靠。
Q3:LFD为什么能解决目标分子在训练数据中几乎不存在的问题?
A:LFD设计了一套自适应的课程机制,大语言模型会先给生成模型设定一个容易达成的中间目标,让模型逐步进步后再收紧目标,一步步逼近最终的科学发现目标,避免了因为起点太难而导致完全没有学习信号的问题。
【版权声明】本文内容来源于科技行者,版权归原作者及原媒体所有。本站仅作信息分享,不构成任何商业用途;如涉版权问题,请联系本站删除。
发布时间:2026-11-18 08:04:19
(第1/1页/共7772字/2阅)