当大模型参与科研，别人还能复现你的研究吗？| Patterns社论呼吁不要让研究变成

可重复性为何如此重要？

在现代科学研究中，可重复性被普遍视为科学可信度的重要基础之一。无论是实验研究还是计算分析，研究人员通常需要尽可能详细地公开研究过程中使用的数据、方法、软件和参数设置，以便其他团队能够理解分析流程，并在相似条件下验证研究结论。过去二十多年里，开放数据（Open Data）、开放代码（Open Code）和开放科学（Open Science）理念的发展，大大提升了科研工作的透明度。

然而，对于计算研究来说，要真正重复一项分析，往往不仅需要保存数据和代码，也需要保留相应的运行环境。随着LLM进入科研流程，这一运行环境正在变得更加复杂。影响结果的因素可能不再局限于数据、代码和传统软件，还可能包括：

• 大语言模型在分析中的具体角色；

• 所使用的模型及版本；

• 模型的可访问性；

• 模型输出的稳定性；

• AI生成的代码或其他中间产物是否得到保存和验证。

尤其是在研究结果需要在未来重新分析时，如果原模型已经更新、弃用（deprecated）或无法获取，研究分析的可重复性就可能受到影响。

当AI加入分析流程，会带来哪些挑战？

研究人员可以通过不同方式将LLM纳入科研工作流。例如：

• 让模型生成数据清洗或分析代码；

• 使用模型处理或分析数据；

• 让模型协助组织分析流程；

• 将模型生成的代码或其他产出纳入后续分析。

不同使用方式对可重复性的影响并不相同。因此，首先需要明确的是：LLM在整个分析过程中究竟处于什么位置？作者将其概括为两种典型模式。

在模式A中，LLM用于生成数据清洗或分析代码，真正处理数据的是随后被保存并执行的代码；在模式B中，数据在运行时直接经过LLM，模型本身成为分析过程中的一个实际步骤。

这一区分对应了本文提出的一个关键问题：LLM究竟位于数据路径上（on the data path），还是位于数据路径外（off the data path）？

• 所谓“位于数据路径上”，是指数据在分析运行时会直接经过LLM。例如，模型直接执行图像分割、分类或其他分析任务。此时，最终结果直接依赖模型在运行时产生的输出。

• 相对而言，如果LLM只是生成代码等持久化产物，而真正的数据分析由保存下来的代码完成，那么LLM就位于数据路径外。当LLM位于数据路径外时，研究人员可以对模型生成的代码进行审核、测试和归档。如果这些代码及其运行环境得到妥善保存，可能不再需要依赖原来的LLM来重复分析。

但当LLM位于数据路径上时，模型本身就会成为分析运行环境的一部分。此时，如果模型版本发生变化、模型被弃用或今后无法获取，重新执行与原研究相同的分析便会更加困难。

Prompt是唯一需要记录的信息吗？

当谈到LLM辅助科研的可重复性时，人们很容易首先想到Prompt。Prompt确实可能影响模型如何理解任务以及生成何种输出。在适当情况下，研究人员可能需要记录关键Prompt、系统提示（system prompt）和其他与模型调用相关的信息。但从本文提出的框架来看，仅仅保存Prompt，并不一定足以保证分析可重复。

• 如果LLM位于数据路径上，模型本身已经成为运行环境的一部分。即使保留完全相同的Prompt，不同模型版本、模型更新以及输出的不确定性仍可能影响结果。因此，除Prompt外，研究人员还需要考虑模型版本、模型可访问性、输出稳定性以及分析验证方式。

• 相比之下，当LLM只负责生成代码，并且生成的代码经过验证后被保存下来，用于重复分析的关键对象就可能是这些持久化产物，而不一定是最初生成代码时的全部交互过程。

因此，真正需要回答的问题不是：是否必须记录每一次与AI的对话？而是：哪些模型、代码、参数和运行条件是这项分析得出结果所不可缺少的依赖？这也意味着，研究人员需要根据LLM在具体分析中的作用，判断哪些信息对于理解和重复研究过程是必要的。

Prompt或许正在成为新的方法学信息

对于很多科研工作者来说，Prompt似乎只是与AI交流的一段自然语言指令。但在许多LLM辅助分析场景中，Prompt可能成为影响模型行为和输出的重要因素。

例如，对于同一份实验数据：

“请分析这组数据。”

与

“请使用标准统计流程完成数据清洗、模型构建和结果解释，并说明分析依据。”

两种输入方式可能引导模型生成不同层次、不同形式的回答。因此，文章提出，在越来越多的AI辅助分析场景中，Prompt、系统提示（system prompt）、模型版本以及相关参数设置，都可能成为需要记录和报告的重要方法学信息。当然，这并不意味着所有研究都必须公开每一次与AI的对话记录。真正需要回答的问题是：哪些模型、代码、参数和运行条件，是这项分析得出结果所不可缺少的依赖？只有这些关键信息被充分记录，后续研究者才有机会准确理解并重复整个分析过程。

从共享代码走向记录完整工作流

近年来，代码共享已经成为提高计算研究可重复性的重要实践。然而，当LLM被纳入科研流程后，仅共享最终代码可能无法完整反映分析过程。因为在实际工作中，研究人员往往会经历多个步骤：

• 先使用AI生成初始代码；

• 再根据反馈进行修改；

• 随后优化参数设置；

• 最后由研究人员审核并完成分析。

此时，真正影响研究结论的，不仅是最终代码本身，还包括整个分析决策过程。因此，未来科研共享的对象或许需要进一步扩展。除了数据和代码之外，还应考虑记录：

• 所使用的模型及版本；

• 关键Prompt设计；

• 参数设置；

• AI参与分析的具体环节；

• 人工审核与验证流程。

换句话说，研究者共享的不再只是分析结果，而是更加完整的 LLM辅助科研工作流（LLM-assisted scientific workflow）。基于此，作者提出了六项建议：

1. 在可行情况下，让LLM位于数据路径之外；

2. 保存LLM生成的持久化产物；

3. 根据LLM在流程中的角色采用适当方式验证结果；

4. 考虑使用开放权重模型（open-weight models）；

5. 记录模型版本；

6. 评估模型输出的确定性或稳定性。

同期社论进一步指出，对于直接位于数据路径上的专有模型（proprietary models），可重复性问题尤为突出。由于商业模型通常不会公开完整模型权重，也无法保证历史版本长期可获取，未来研究者可能难以重新运行与原研究完全相同的模型。

AI提高效率，但不能替代验证

需要强调的是，这两篇文章重点讨论的是可重复性，而不是比较不同大语言模型的性能高低。不过，可重复性与结果验证密切相关。作者建议，研究人员应根据LLM在分析中的具体角色，采用与该角色相匹配的验证方法。

• 例如，当LLM生成分析代码时，研究人员可以检查代码逻辑、运行测试并保存经过验证的版本；

• 当LLM直接参与分析时，则需要进一步评估模型输出的确定性，以及不同模型之间的一致程度。

AI可以帮助研究人员编写代码、处理数据和组织科研工作流，但科学责任最终仍然属于研究者。

AI时代，可重复性正在被重新定义

从显微镜到高通量测序平台，从统计软件到高性能计算，科学研究的发展始终伴随着工具的更新。今天，大语言模型正在成为科研工作流中的新工具。这意味着，影响研究可重复性的技术环境正在发生变化。

传统分析主要依赖硬件、操作系统和分析软件；加入LLM后，模型可能直接承担分析功能，也可能与传统分析软件共同构成分析环境。因此，研究人员不能仅仅说明“使用了AI”，而应进一步判断：

• LLM是否直接处理了数据；

• 研究结果是否依赖特定模型；

• 相关模型版本未来能否继续获取；

• 模型生成的代码或其他产物是否得到保存；

• 结果是否经过适当验证；

• 模型输出在重复运行时是否足够稳定。

在 Patterns 编辑部角度看来，这不仅是技术层面的问题，也是研究报告和科学规范需要面对的问题。社论呼吁作者采取实际措施，确保他人在当前及多年以后仍能够重复相关工作。

总结

本篇Tutorial与同期社论共同传递出一个清晰的信息：AI正在成为科研的重要工具，但科学研究不能因此变得更加不透明。

对于LLM辅助分析，研究人员首先需要判断模型是否位于数据路径之上。在此基础上，再决定应当保存哪些代码和模型产物、记录哪些模型信息，以及采用何种方式验证结果。或许未来论文中的 Methods（研究方法） 部分，不仅需要描述实验条件和统计方法，也需要在相关情况下说明研究人员如何与AI协作完成分析。毕竟，科学发现不仅需要被发表，更需要被理解、验证，并经得起时间和同行的检验。当AI逐渐成为科研工作流的一部分，透明地记录研究过程，或许比以往任何时候都更加重要。

正如 Patterns 编辑部在社论中所呼吁的：Don’t black box your research.

论文原文刊载于Cell Press细胞出版社

旗下期刊Patterns上，