同样是细胞基础模型，它们学到的细胞世界有什么不同？清华大学张学工/魏磊团队提出scGeneLens…

同样是细胞基础模型，它们学到的细胞世界有什么不同？清华大学张学工/魏磊团队提出scGeneLens…
CellPress细胞科学 2026-11-10 07:01:48

交叉学科

Interdisciplinary

2026年11月6日，清华大学自动化系/北京信息科学与技术国家研究中心张学工、魏磊团队联合西安交通大学计算机科学与技术学院研究人员，在Cell Press细胞出版社旗下期刊Patterns在线发表题为“Interpretable attention probing reveals model-specific perceptions of cell states in single-cell foundation models”的研究论文。该研究提出了一种面向细胞基础模型的可解释性分析框架scGeneLens，揭示了不同细胞基础模型在细胞身份和功能状态表征方面的差异，为理解细胞基础模型的内部机制及其生物学应用提供了新的视角。

文章亮点

1. 提出面向细胞基础模型的可解释性分析框架scGeneLens：针对细胞基础模型中基因数量多、Attention信息分散、跨层信息传播难以追踪等问题，提出结合结构化稀疏注意力、跨层基因影响传播以及积分梯度与中心化核对齐分析的综合框架，实现对模型内部基因信息组织方式的系统解析。

2. 揭示不同基础模型具有不同的生物学表征偏好：将scGeneLens应用于scFoundation和scGPT，发现两者虽有相似架构，却呈现不同的信息组织方式：scFoundation更倾向于围绕细胞类型标志基因组织信息，表现出更强的细胞类型可分性；而scGPT则更侧重于表达量相关信息，以及跨疾病共享的细胞信号通路和功能状态。

3. 为结合生物学问题选择和设计模型提供依据：scGeneLens使模型隐含的归纳偏置得以识别和分析，不仅可以指导研究者根据具体科学问题选择合适的模型，也为未来开发更具生物学可解释性的细胞基础模型提供了统一分析框架。

图1.scGeneLens框架概览

研究背景

单细胞RNA测序（scRNA-seq）技术为解析细胞异质性、细胞状态转换及疾病相关生物学过程提供了深刻洞见。随着大规模单细胞数据集的快速增长，在海量scRNA-seq语料上预训练的Transformer细胞基础模型（single-cell foundation model, scFM）已成为支撑各类下游生物医学分析的强大骨干模型。然而，尽管这些模型共享相似的Transformer架构，它们在预训练目标、输入表征方式及优化策略上存在差异。近期多项测试表明，没有任何一个细胞基础模型能够在所有基因和细胞级任务中保持全面最优，其表现高度依赖于任务定义与数据特征。

这种异质性行为表明，不同的细胞基础模型在将基因层面的信息组织为细胞表征时依赖着各自独特的归纳偏置。然而，现有研究难以直接揭示成千上万个基因token的信号是如何在自注意力机制中被加权、筛选并跨层整合的。同时，细胞基础模型数千个基因token的超长输入序列使得原始稠密自注意力高度弥散、噪声显著，难以直接开展生物学归因。为应对上述挑战，研究团队提出了可解释性分析框架scGeneLens，旨在系统揭示不同细胞基础模型是如何理解并编码细胞身份与状态的。

主要内容和结果

scGeneLens由三个互补的组件构成。首先，scGeneLens-Attention将标准稠密注意力替换为门控块稀疏注意力，从而在保留原始Transformer编码器基本注意力计算模式的同时，将弥散的全局交互浓缩为紧凑且易于解析的主导基因程序。其次，针对单层注意力易受噪声干扰的问题，scGeneLens使用基因影响传播机制定量追踪每个初始基因表征经过多层网络后向其他基因汇聚的程度，识别出在表征形成过程中作为信息汇集点的关键基因与程序。第三，scGeneLens结合积分梯度与中心化核对齐分析，分别从归因幅度和表征几何对齐两个互补视角，评估不同模型对基因身份与表达量的相对依赖程度。

图2.两种模型呈现不同的细胞信息组织方式

对scFoundation和scGPT的对比分析表明，两者在细胞表征中保留了不同的生物学信号。在人类胰岛和PBMC数据集中，经微调后，scFoundation的细胞嵌入展现出更清晰的细胞类型分离，反映出对离散细胞身份的强编码。相比之下，scGPT则表现出更强的通路与功能状态侧重。在涵盖多类疾病的成纤维细胞数据中，scGPT并未按疾病来源聚类细胞，而是形成了两个跨疾病共享的主要功能群：其中一群显著富集炎症、应激和细胞因子响应通路，另一群则突出血管生成、TGF-β信号及代谢程序。这说明，模型表征的差异不一定意味着模型性能的高低，而可能反映了模型关注的生物学维度不同：一个更强调细胞身份和疾病背景，另一个则相对更强调跨疾病共享的功能状态。

基因层面的机制剖析进一步揭示了上述表征差异的成因。在进入上下文注意力计算前，scGPT的静态基因嵌入已具备高度有序的几何结构，提示其嵌入空间中包含了丰富的基因功能相关信息。在跨层信息传递中，两种模型也遵循不同的路由原则：以胰岛α细胞为例，scFoundation的注意力显著向细胞类型标志基因汇聚，呈现出从早期内分泌标志基因到中层分泌与转运相关程序、再到深层蛋白稳态程序的有序过渡；而 scGPT 则主要围绕S100家族、HLA基因、载脂蛋白及锌指转录调控家族等状态相关程序跨层循环汇聚。此外，研究团队还分析了模型对细胞类型标志基因的影响传播。结果显示，scFoundation中与细胞类型标志基因相关的信息传播更加明显，而scGPT中向这些标志基因的信息传播则相对较弱。这些结果从模型内部的信息传播过程进一步揭示了两种模型的差异：scFoundation更倾向于围绕细胞类型标志基因和相关功能模块组织信息，而scGPT则更多体现状态相关和功能相关的基因信息组织模式。

进一步分析表明，scGeneLens识别出的基因信息组织模式，在原始模型中也具有相应的功能关联，并非仅仅是稀疏注意力探测所产生的表面现象。研究团队还将稀疏注意力和跨层基因影响传播模块扩展至scBERT，观察到该模型对细胞类型标志基因的信息传播偏好，进一步支持了scGeneLens在不同细胞基础模型中的适用性。

总结和展望

scGeneLens通过结合结构化稀疏注意力、跨层基因影响传播以及多种互补的表征分析方法，系统揭示了不同细胞基础模型在细胞身份和功能状态表征方面的差异。研究发现，即使采用相似的Transformer架构，不同细胞基础模型也可能形成不同的生物学表征偏好。这提示在评价细胞基础模型时，不能仅仅依赖下游任务的预测性能，还需要理解模型究竟学习了什么样的生物学信息；不同模型可能捕捉到细胞生物学的不同维度，因此模型的选择和设计也应该与具体的生物学研究问题相匹配。以此为基础，通过进一步解析模型架构、输入表示和预训练策略如何塑造其生物学表征偏好，有望推动更加可解释、更加符合特定生物学任务需求的细胞基础模型发展。

作者专访

Cell Press细胞出版社特别邀请本文作者张学工教授进行了专访，请他为大家进一步解读。

CellPress：

请简要概述这项工作的亮点。

张学工教授：

本研究的核心亮点在于开发了面向细胞基础模型的可解释性分析框架scGeneLens，从原本高度弥散的基因级自注意力中提取并解析具有代表性的生物学信息。研究发现scFoundation的表征更突出细胞类型身份，而scGPT则更突出跨疾病共享的功能状态。这说明，不同细胞基础模型之间的差异不仅体现在下游任务的预测性能上，也体现在它们组织和表征细胞身份与功能状态信息的方式上。这样的分析可以帮助研究者更好地理解模型能力，并将其与具体的生物学问题联系起来。

CellPress：

研究过程中是否遇到了困难？团队是如何克服并顺利解决的？或是有任何有趣的故事可以与读者分享？

张学工教授：

研究过程中面临的最大挑战来自两个方面：一是如何在不改变细胞基础模型固有行为特征的前提下，从极其庞大、弥散的基因级自注意力矩阵中提取出真正有生物学意义的主导信号；二是如何严谨地证明探针所揭示的规律确实源于原始模型本身，而非稀疏化改造所引入的伪影。细胞基础模型每个细胞包含数千乃至上万个基因token，单层稠密注意力权重极度分散。我们受长上下文Transformer块稀疏注意力机制的启发，设计了scGeneLens-Attention模块，再配合跨层基因影响传播，识别出在多层网络中承担信息汇聚作用的关键基因。在分析过程中有一个非常有趣的发现：起初我们观察到scGPT在无监督微调后对胰岛和PBMC离散细胞类型的分离度不如scFoundation，如果仅按常规分类基准来看，很容易误以为它的表征质量较弱；但当我们深入到跨五种疾病的成纤维细胞数据集以及跨层传播中心时，却惊喜地发现scGPT并未主要按照疾病来源区分细胞，而是识别出了跨疾病共享的功能状态。此外，为了验证对原始稠密模型的保真度，我们专门比较了探测模型与原始模型的表征，以及在原始稠密模型上做了基因消融实验，进一步支持了这些基因信息组织模式并非稀疏化探测所引入的伪影，而是在原始模型中同样具有功能意义。

CellPress：

团队下一步的研究计划是怎样的？

张学工教授：

接下来，我们希望系统解析不同的预训练目标、输入表征和架构设计如何塑造模型的生物学表征偏好，并以此推动细胞基础模型从通用的黑箱模型向原理更加清晰、能够更好地适配具体生物医学问题的新一代虚拟细胞模型发展。

CellPress：

最后，是否可以与我们分享一下选择Patterns来发表这个工作的原因？

张学工教授：

我们选择Patterns，主要是因为这项工作本身就处在人工智能与生命科学的交叉地带。我们不仅希望提出一种新的模型可解释性分析方法，更希望借此回答一个对细胞基础模型发展很重要的问题：这些模型究竟学到了什么，又是如何组织和理解生物学信息的？Patterns非常重视数据科学方法与实际科学问题之间的联系，这与我们的研究理念高度契合。我们希望这项工作不仅能被计算机和人工智能领域的研究者关注，也能让计算生物学和实验生命科学领域的同行从中获得一些启发。毕竟，理解模型本身只是第一步，更重要的是让我们能够更好地利用这些模型去认识生命系统。我们也期待通过这项工作，与不同领域的研究者交流，共同探索人工智能与生命科学结合的更多可能性。

作者介绍

张学工

教授

张学工，清华大学自动化系教授、生命学院和医学院兼职教授，国际计算生物学学会ISCB Fellow，中国人工智能学会会士。现兼任国际计算生物学学会ISCB副主席；中国人工智能学会常务理事、中国自动化学会智能健康与生物信息专委会主委等。长期从事模式识别与机器学习、生物信息学、数基生命系统与数智精准健康医疗研究。曾主持国家973计划项目、重点研发计划项目等国家级项目十余项，以第一完成人获教育部自然科学奖一等奖。以第一作者或通讯作者在Nature Methods、Nature Machine Intelligence、Lancet Digital Health等国内外著名期刊上发表论文100余篇。

魏磊

助理研究员

魏磊，清华大学北京信息科学与技术国家研究中心助理研究员，主要研究方向为单细胞和空间组学数据智能建模与系统分析。曾主持国家自然科学基金面上项目、青年科学基金项目（C类），并作为课题骨干参与科技部国家重点研发计划、国家自然科学基金原创探索计划等项目。以（共同）第一或通讯作者的身份在Nature Communications、Cell Reports、Genome Research等国内外著名期刊上发表论文20余篇。

赵誉博

博士研究生

赵誉博，清华大学自动化系张学工课题组2025级博士研究生。研究方向为单细胞及空间转录组相关的生物信息学。

孙多智

硕士研究生

孙多智，西安交通大学计算机科学与技术学院、陕西省大数据知识工程重点实验室龚铁梁课题组2025级硕士研究生。