你有没有想过一件事：同样是神经网络，为什么ChatGPT能跟你聊天说理，而几年前的AI连一句通顺的话都写不出来？

这背后不是某个单一的"黑科技"，而是一整套方法论的叠加。东北大学和小牛翻译团队写的这本《大语言模型基础》，把这套方法论拆成了六块拼图：预训练、生成式建模、提示工程、对齐、推理和推理能力。今天我们就把这六块拼图一块一块地摆开看。

预训练：机器怎么"自学"语言

先问一个最朴素的问题：机器怎么学会语言？

传统做法是人工标注数据，告诉机器"这句话是正面情绪""这个词是动词"，然后机器去拟合这些标签。但这种做法有个致命问题，标注数据永远不够多，机器学到的东西永远局限在标注者定义的任务里。

**预训练的核心洞察是：语言模型可以从海量无标注文本中自己学会语言和世界的知识，而不需要人工标注。**

这就像教一个孩子认字。如果你只教他认你写的那几百个生字卡片，他的词汇量永远被你的卡片限制住。但如果你让他自己去读成千上万本书，哪怕没人告诉他每个字的具体用法，他也能通过上下文反复出现的模式，自己摸索出语言的规律。预训练做的就是后者，让模型"自己读书"，而不是"看卡片"。

> **自监督学习**：不依赖人工标注，而是从数据本身构造学习任务的方法。比如把一句话中的某个词盖住，让模型猜这个词是什么。

这种自监督的具体玩法，论文里讲了三种主流架构。

**第一种是只有解码器的模型（Decoder-only）**，比如GPT系列。它的训练任务极其简单：给定前面的词，预测下一个词。重复这个简单的任务无数次，模型居然能学会写文章、答问题、甚至做数学推理。这是不是有点反直觉？一个只会"猜下一个字"的模型，为什么会涌现出推理能力？

这个问题目前没有标准答案，但论文给了一个朴素的解释：当你把"猜下一个字"这个任务做到极大规模（几千亿、几万亿词），模型为了把这个任务做好，不得不在内部学会语法结构、事实知识，甚至是逐步推理的模式，因为很多复杂的句子，如果不理解背后的逻辑，是猜不出下一个词的。

**第二种是只有编码器的模型（Encoder-only）**，最经典的例子是BERT。它用的是"掩码语言建模"：把句子里15%的词随机盖住，让模型根据上下文猜这些被盖住的词是什么。

> **掩码语言建模**：随机遮盖输入文本中的部分词，训练模型根据上下文还原被遮盖的内容，从而学习双向的语言理解能力。

和GPT的单向预测不同，BERT能同时看到被预测词的左边和右边的上下文，这让它特别适合做"理解"类任务，比如判断两句话是不是同一个意思、识别文本中的人名地名。

**第三种是编码器-解码器模型（Encoder-Decoder）**，比如T5和BART。这类模型把各种NLP任务统一成"文本到文本"的格式。举个例子，翻译任务可以写成"把这句话从英文翻译成中文：你好"，输出就是"Hello"对应的中文。这种统一格式的好处是，一个模型可以同时处理翻译、摘要、问答等各种任务，只要换个指令前缀就行。

这三种架构各有侧重，但它们共享一个底层逻辑：都是通过设计巧妙的"自我出题、自我验证"任务，让模型从无标注数据里挖出语言规律。这就好比健身房里的不同训练器械，杠铃、哑铃、跑步机针对的肌群不同，但背后都是"给身体施加阻力让它适应"这同一个原理。

如果不用自监督，而是坚持人工标注的老路会怎样？论文里提到一个对比，早期的监督式预训练确实有用，但它要求两个任务高度相关，而且标注成本随模型复杂度增加而暴涨。自监督绕开了这个瓶颈，让预训练可以无限扩展到互联网规模的文本，这正是后来"规模定律"能够成立的前提。

生成式模型：GPT们是怎么长大的

预训练搞明白了，接下来的问题是：怎么把一个语言模型训练成一个真正好用的大模型？

这一章论文花了很大篇幅讲"怎么把模型做大、做长"。先说做大的部分。

**训练大模型面临的第一个难题是数据质量**。你可能以为互联网上随便爬的文本就能用，但论文指出，未经过滤的网页数据训练出来的模型效果很差。有研究显示，经过严格的启发式清洗，网页数据中90%的内容会被丢弃，剩下的10%才拿去训练。这就好比做菜，菜市场买回来的菜不能直接下锅，得先洗、择、挑掉烂叶子，不然炒出来的菜难吃不说，可能还有问题。

数据的第二个难题是**多样性和偏见**。如果训练数据里"护士"这个词总是和女性关联出现，模型就会学到这种刻板印象。解决办法是在数据层面主动做平衡，让不同群体、不同语言的样本比例更均衡。这不是简单的技术修补，而是关乎模型最终会不会"歧视"某类人群的根本问题。

模型架构方面，论文提到了几个关键的"小修改"，看似不起眼，却是让大模型能稳定训练下去的关键。比如层归一化的位置，从后置改成前置，这个小小的改动大幅提升了深层Transformer的训练稳定性。再比如激活函数从ReLU换成SwiGLU，这类改进单独看都很细微，但叠加起来就是能不能把模型做到百亿、千亿参数级别的分水岭。

> **缩放定律（Scaling Law）**：描述模型性能与训练数据量、模型参数量、计算量之间关系的经验规律，通常呈现幂律形式。

这里有一个特别有意思的发现，Kaplan等人在2020年的研究显示，测试损失和模型参数数量之间存在幂律关系，公式大致是损失等于参数量的负0.076次方乘以一个常数。这意味着什么？意味着只要你肯堆算力和数据，模型性能会按照一条可预测的曲线持续提升,这也是为什么OpenAI、谷歌这些巨头敢一次性砸几亿美元训练一个模型，因为缩放定律告诉他们，这笔投入在数学上是"划得来"的。

但缩放定律不是没有代价的。训练一个千亿参数模型往往需要成百上千块GPU同时工作，这就引出了另一个硬核问题：怎么把一个模型拆开，分布到成百上千台机器上同时训练？

论文详细讲了四种并行方式：数据并行（把数据切开分给不同机器）、模型并行（把模型本身切开）、张量并行（把一次矩阵运算拆开）、流水线并行（像工厂流水线一样让不同机器处理不同阶段的计算）。

这几种并行方式的关系，有点像一个大型工厂的生产调度。数据并行好比开了十条相同的生产线同时生产，模型并行好比把一条生产线拆成多个工位，张量并行好比把一个工位内部的工作再细分给多个工人同时干，流水线并行则是让不同工位同时处理不同批次的产品，前一个工位处理完第二批时，第一个工位已经在处理第三批了，整条线不会闲着。如果不这样设计，一个千亿参数模型根本塞不进单台机器的显存，训练效率也会被单台机器的算力死死卡住。

讲完"做大"，再讲"做长"，也就是怎么让模型处理超长文本。

标准的Transformer架构有个硬伤：**自注意力机制的计算量和内存占用，会随着序列长度的平方增长**。处理1000个词的计算量是100万，处理10000个词的计算量就变成了1亿，整整涨了100倍。这就像一个会议室，如果每个人都要跟房间里所有人握一次手，10个人握手45次很轻松，但100个人握手就要4950次,房间里瞬间乱成一锅粥。

为了解决这个问题，论文介绍了几类思路。

**第一类是稀疏注意力**，不让每个词都和所有词交互，只让它关注一个局部窗口内的词。这就好比开会不是人人都握手，而是只跟邻座的人交流，极大降低了交互次数。

**第二类是线性注意力**，通过数学变换把计算复杂度从平方降到线性。这类方法不需要保留完整的历史记录，而是把历史信息压缩成一个固定大小的"摘要"，每来一个新词就更新一下这个摘要。这有点像记笔记时不是把每句话都抄下来，而是不断更新一份"要点总结"。

**第三类是各种缓存压缩技术**，比如滑动窗口缓存、压缩Transformer等，核心思路都是只保留"重要"的历史信息，把不重要的丢掉或者压缩。

还有一个很实用的技巧叫**KV缓存共享**，包括多查询注意力和分组查询注意力。标准的多头注意力里，每个"头"都有自己独立的键值对缓存，这占用大量内存。多查询注意力让所有头共享同一套键值对，只有查询向量是独立的，这样大幅减少了内存占用,代价是模型的表达能力会稍微打折。分组查询注意力则是一个折中方案，把头分成几组，组内共享键值对,相当于在节省内存和保留表达力之间找到一个平衡点。

另外还有一个很巧妙的设计是位置编码的外推和插值。模型在训练时见过的最长序列是比如2048个词，但部署时用户可能输入20000个词的长文章，这时候位置编码怎么办？论文介绍了旋转位置编码（RoPE）及其改进版本，通过数学上的插值技巧，把超出训练范围的位置信息"压缩"回模型熟悉的范围内，让模型在没见过那么长序列的情况下，依然能大致理解超长文本中词与词的相对距离。

提示工程：怎么跟AI好好说话

模型训练好了，接下来的问题是怎么用。

你可能觉得这不就是"打字问问题"吗，有什么技术含量？但论文花了整整一章讲这件事，而且讲得相当细致。

**提示工程的核心矛盾在于：同一个问题,用不同的方式问,得到的答案质量可能天差地别。**

论文给了一个特别生动的例子。如果你直接问模型"3+5+2除以15乘以3等于多少"，模型很可能直接给出一个错误答案。但如果你在提示词末尾加一句"让我们一步一步思考"，模型就会把推理过程写出来，先算加法，再算乘除法，最后得出正确答案。

这个现象被称为**思维链提示（Chain-of-Thought Prompting）**，简单来说就是引导模型把中间推理步骤写出来，而不是直接跳到最终答案。

> **思维链（CoT）**：一种提示技巧，通过展示或要求模型生成一系列中间推理步骤，来提升复杂任务（尤其是数学和逻辑推理）的准确率。

这个现象乍一听有点玄学，为什么多加一句话就能让模型"变聪明"？论文给出的解释是，模型在预训练阶段确实学到了逐步推理的能力，但这种能力默认是"隐藏"的,因为训练数据里直接给出答案的样本更多。思维链提示相当于一个开关，把模型内部已经具备但平时不激活的推理路径打开。

这就好比一个学生明明会解方程的详细步骤，但考试时图快总想直接猜答案。如果老师明确要求"把解题步骤写出来"，学生反而更容易做对，因为写步骤这个动作强迫他沿着正确的逻辑链条走，而不是跳步猜测。

论文还讲了提示工程的几个实用技巧，比如把任务描述得越具体越好、给模型分配一个"角色"（比如"你是一位心理学家"）、提供几个示范案例让模型照着学（这叫**上下文学习**，不需要重新训练模型，只是在输入里加几个例子）。

> **上下文学习（In-context Learning）**：不改变模型参数，仅通过在输入提示中加入少量示范样本，让模型学会如何完成新任务的能力。

还有一个特别有意思的方向是**自动化提示优化**。既然好的提示词这么重要，为什么还要靠人工反复试错去写？论文介绍了一种思路：用大模型自己去生成候选提示词，评估哪个效果好，然后不断迭代改进,这相当于让AI自己给自己写"使用说明书"。

另外一个方向是**软提示（Soft Prompt）**，这个概念初听有点抽象。普通的提示词是人类能读懂的文字，但软提示是一组可训练的连续向量，不对应任何具体的文字，直接插在模型输入里，通过训练去调整这些向量的数值,让模型表现得更符合特定任务的要求。

这就像给一个新员工培训，普通提示相当于给他一份详细的操作手册让他自己读,软提示则相当于直接往他脑子里"植入"一套工作习惯,他说不清楚自己为什么这么做,但做出来的结果就是对的。软提示的好处是不用每次都输入冗长的文字说明,计算成本更低,但缺点是不透明,人类看不懂这组向量到底代表什么。

对齐：怎么让AI"听话又靠谱"

训练好了模型，教会它怎么被提示，接下来的问题是：怎么确保AI给出的答案不仅准确，还要符合人类的价值观和期望?

这就是**对齐（Alignment）**要解决的问题。

> **对齐**：指调整AI系统的行为，使其输出符合人类的意图、价值观和安全要求的过程。

论文把对齐分成两条主线：指令对齐和人类偏好对齐。

**指令对齐**相对简单，核心做法是用标注好的"指令-回答"数据对模型进行微调,这个过程叫**监督微调（SFT）**。比如收集一堆"把这句话翻译成法语"配上正确翻译的样本，让模型在这些样本上继续训练，模型就能学会按照指令行事。

论文里有一个发现特别颠覆常识：**只需要很少量、但质量极高的指令微调数据，就能让模型学会跟随指令**，这被称为"表面对齐假说"。有研究用仅仅1000条精心挑选的样本微调一个650亿参数的模型，效果就能和用大量数据微调的模型相当。

这个发现有点反直觉。按照传统机器学习的直觉，数据越多模型应该越好，但这里说的是,核心的语言理解和世界知识早在预训练阶段就学到了，微调阶段真正要做的只是"唤醒"这些已有的能力，而不是重新教它新知识。这就像一个已经读过万卷书的学者，你不需要再给他上几千节课，只需要跟他说清楚"现在的规矩是这样"，他立刻就能照着做。

但指令对齐解决不了一个更棘手的问题：人类的价值观太复杂、太微妙，很难简单地写成"指令-回答"的标注数据。比如什么样的回答算是"有礼貌"、什么样的内容算是"有害"，这些标准往往连人类自己都说不清楚,只有看到具体案例才能判断。

这就引出了**基于人类反馈的强化学习（RLHF）**。

> **RLHF**：先训练一个"奖励模型"来模拟人类的偏好判断，再用强化学习算法根据这个奖励模型来调整语言模型的输出，使其更符合人类期望的方法。

RLHF的核心思路很巧妙：不要求人类直接写出"完美答案"，而是让人类对模型生成的几个不同回答进行排序，告诉AI"这个回答比那个好"。这种相对判断比绝对打分要容易得多，也更符合人类做判断的直觉。

论文详细拆解了RLHF的四个步骤。第一步训练一个初始模型，第二步用这个模型生成多个候选回答并收集人类的偏好排序，第三步用这些排序数据训练一个专门的"奖励模型"，第四步再用这个奖励模型通过强化学习算法（最常用的是**近端策略优化PPO**）去调整原始模型的参数。

这个流程为什么要绕这么大一圈？直接让人类打分不行吗？论文解释说，让人类给每个回答打一个绝对分数（比如1到10分）其实很难做到一致，不同人的打分标准差异很大。但让人类在两个回答之间选一个更好的，这个任务相对简单且一致性更高。所以RLHF选择了先收集相对偏好数据，再训练一个连续打分的奖励模型，用这个奖励模型去提供密集、一致的反馈信号。

这就好比评判一场辩论赛，让评委直接给每个选手打一个精确到小数点的分数会很困难，不同评委标准不一样，但让评委说"A比B说得好"这种相对判断，大家的意见会更趋同。

RLHF虽然效果好，但训练过程相当复杂，需要同时维护四个模型（奖励模型、价值函数、参考模型、目标策略），计算成本很高，而且强化学习本身训练起来容易不稳定。

于是论文介绍了一种更简洁的替代方案，**直接偏好优化（DPO）**。

> **DPO**：一种跳过显式奖励模型训练步骤，直接利用人类偏好数据优化语言模型参数的对齐方法。

DPO的巧妙之处在于，通过一系列数学推导，证明了最优的奖励函数可以直接用策略模型本身来表示,这意味着不需要单独训练一个奖励模型,偏好优化可以直接转化成一个类似监督学习的损失函数来优化。这相当于把一个原本需要四个零件配合运转的复杂机器，简化成了两个零件就能搞定的精简版本，训练起来更稳定、更省资源。

如果不做对齐会怎样？论文开篇就举了一个例子：如果有人问AI怎么入侵一个计算机系统，一个没有经过对齐的模型可能会直接给出详细的技术步骤。但经过良好对齐的模型，应该意识到这个请求的潜在危害，转而建议用户不要从事违法活动。对齐不是锦上添花，而是AI能不能被负责任地使用的底线。

推理：AI怎么又快又好地"吐字"

模型训练好了，对齐做完了，接下来要考虑的是：这个模型在实际使用时，怎么高效地生成答案？

这个问题听起来简单，不就是模型输出文字吗？但论文揭示了一个工程细节上的复杂性：生成文本的过程被拆成了两个性质完全不同的阶段，**预填充（Prefilling）**和**解码（Decoding）**。

预填充阶段是模型一次性读入你输入的所有文字（比如你的问题），把这些文字转化成内部表示，这个过程可以高度并行计算，因为输入的所有词是同时可见的。解码阶段则是模型一个字一个字往外吐，每吐一个字都要依赖前面已经吐出的所有字，这个过程天然是串行的，没法并行加速。

论文指出这两个阶段的硬件瓶颈完全不同：预填充阶段是**计算受限**，瓶颈在于GPU的算力够不够强；解码阶段是**内存受限**，瓶颈在于内存读写的速度跟不跟得上。这就好比做一道大菜，预填充阶段是备菜切菜，可以一次性把所有食材都准备好，调动很多把刀同时切；解码阶段是颠勺炒菜，必须一步接一步地来，上一步没炒完下一步没法开始，这时候限制你的不是刀有多少把，而是炒勺颠得够不够快。

**要生成一个句子，模型要在候选词的巨大空间里搜索出最合适的那条路径**，这就引出了各种解码算法。

最简单的是**贪心解码**，每一步都选当前概率最高的词，速度快但容易陷入局部最优。**束搜索（Beam Search）**则同时保留若干条候选路径，在每一步都对所有路径的所有可能延伸进行打分，保留分数最高的若干条,相当于不是只押一个宝,而是同时下几个注,综合比较后再决定。

还有一类是**采样类解码**，比如top-k采样（只从概率最高的k个词里随机选）和top-p采样（也叫核采样，从累积概率超过阈值p的最小词集合里随机选）。这类方法会给输出引入一定的随机性，让生成的文本更有变化、不那么机械，特别适合创意写作、聊天这类不需要唯一正确答案的任务。

有一个特别巧妙的加速技巧叫**推测解码（Speculative Decoding）**。

> **推测解码**：用一个小而快的"草稿模型"先快速生成若干个候选词，再用大而准的"验证模型"一次性并行验证这些候选词是否可以接受的解码加速技术。

这个思路很像请一个新手律师先快速起草一份合同草案（草稿模型），再请一位资深大律师过一遍审核（验证模型）。如果草案里大部分条款都没问题，大律师只需要花很少时间逐条确认就能通过，比他从零开始一字一句起草要快得多。只有在草案出错的地方，大律师才需要亲自重新写。因为验证可以并行进行,而起草是串行的，这种"先快速起草、再批量验证"的策略能大幅提升整体效率。

论文还提到了另一个工程优化思路，叫**批处理（Batching）**，也就是把多个用户的请求打包在一起同时处理，充分利用GPU的并行计算能力。这里涉及一个经典的权衡：批次越大，吞吐量（单位时间处理的请求数）越高，但延迟（单个请求等待的时间）也会变长。论文介绍了连续批处理这种动态调度方式，让系统可以在处理过程中随时插入新到达的请求，而不用等整批处理完才能接新任务，相当于一个灵活调度的流水线，而不是死板的"必须等一批人全部办完手续才能叫下一批"。

推理阶段的"思考"：怎么让AI多想一会儿

最后一个重要话题是**推理能力（Reasoning）**，这跟前面讲的"推理"（Inference，指生成答案的过程）是两个不同的概念，这里特指模型解决复杂逻辑问题的能力。

论文提出了一个很有启发性的框架：用心理学里的**双系统理论**来理解AI的"思考"方式。

> **系统1与系统2思维**：心理学家卡尼曼提出的概念，系统1代表快速、直觉的思考方式，系统2代表缓慢、需要刻意努力的逐步推理方式。

对应到大语言模型上，系统1思维就是模型直接给出答案，不展开中间步骤；系统2思维则是模型花更多时间，生成一长串推理步骤，一步步验证逐步逼近正确答案。

这个类比揭示了一个关键矛盾：**语言模型默认倾向于系统1思维，因为预训练数据里直接给答案的样本远多于详细展示推理过程的样本**。要让模型切换到系统2模式，需要额外的激励手段。

论文介绍了一个很重要的发现：**在推理阶段投入更多计算量，可以显著提升复杂任务的表现**，这被称为**推理时扩展（Inference-time Scaling）**。换句话说，不是模型越大越聪明，而是给同一个模型更多"思考时间"，它也能变得更聪明。

一个具体做法是**采样多条推理路径，取多数票**，这叫**自我一致性（Self-Consistency）**。论文举了一个例子：对同一道数学题，让模型独立生成多次解答，如果三次解答中两次都算出同一个答案，哪怕推理过程略有差异，这个高频答案往往更可靠。这就像请三位独立的会计师分别审一遍账，如果两位都算出同一个数字，这个数字的可信度就比只问一位会计师高得多。

更进一步的技术是**过程奖励模型（Process Reward Model, PRM）**，不只是看最终答案对不对，而是对推理过程中的每一步都单独打分。

> **过程监督**：在训练或推理阶段，不仅评估最终输出的正确性,还对中间推理步骤的质量进行逐一检验和反馈的方法。

论文给出一个生动的对比例子，有一道数学题，模型给出两种解答，一种从第一步到最后一步每步都正确，最后答案也对；另一种中间某一步出现计算错误，但最后答案碰巧蒙对了。如果只看结果，这两种解答会被判定为同样"正确"，但第二种解答显然存在逻辑漏洞,只是没有暴露出来。过程监督能识别这种"蒙对了的错误推理"，而只看最终结果的监督方式做不到。

这就引出了一个值得深思的问题：**如果我们只奖励正确答案，而不检查推理过程，模型会不会学会用错误的逻辑"碰巧"得出正确答案，而完全不具备真正的推理能力？**

论文还讨论了一个颇具哲学意味的问题：**生成的思维链文本，是不是真实反映了模型内部的计算过程？**有研究发现，思维链解释有时是误导性的，模型可能偏向生成一条看起来逻辑严密的推理链，去支撑一个本来就错误的答案，哪怕提示里已经透露了正确答案。这意味着我们看到的"推理步骤"，有可能只是模型事后编造出来的合理化叙述，而不是它真实的决策依据。

这个发现挺让人警醒的。我们原本以为给模型展示推理步骤，是为了让它的决策过程更透明、更可信，但如果这些步骤本身可能是"事后圆谎"，那透明度本身也要打一个问号。

论文最后还提到一个有意思的区分：**记忆和推理到底是不是一回事?** 一个模型如果见过某道题的类似变体，它给出正确答案可能只是因为"记住了"相似的模式，而不是真正通过逻辑推导出来的。有研究发现，深度神经网络具备惊人的记忆容量，甚至能记住完全随机打乱的噪声标签。这意味着，当我们看到一个大模型"解出"一道复杂题目时，我们需要谨慎地问一句：它是真的在推理，还是只是从海量训练数据里精准地检索出了一个相似模式？

论文里提到一个"顿悟"现象的研究案例特别有意思：研究者训练一个小型Transformer模型学习模除法这种代数运算,发现模型早期在训练集上迅速达到100%准确率,但测试集准确率几乎为零,这明显是死记硬背。但如果让训练继续进行很长时间，远远超过明显过拟合的那个点，测试准确率会突然在很短时间内飙升到100%，就好像模型突然"开窍"了。后续的分析揭示，开窍之前模型的参数在混乱地记忆具体的等式，开窍之后模型内部发展出了一套用三角函数和傅里叶变换表达的通用数学规律，真正"理解"了背后的运算规则,而不再是死记硬背。

这个发现告诉我们，**真正的推理能力可能不是凭空出现的，而是记忆遇到瓶颈之后，模型被迫寻找更通用解释的产物**。

写在后面

读完这本书的核心内容，我最大的触动不是某个具体的技术细节，而是意识到大语言模型的进步,从来不是单点突破，而是六个方向齐头并进的结果。预训练解决了"怎么从数据里学知识"，生成式模型解决了"怎么把模型做大做长"，提示工程解决了"怎么跟模型沟通"，对齐解决了"怎么让模型靠谱"，推理解决了"怎么快速生成答案"，推理能力解决了"怎么让模型会思考"。这六块拼图任何一块缺失，整个系统都转不起来。

特别让我印象深刻的是"表面对齐假说"这个发现,只用1000条精心挑选的样本就能让一个650亿参数的模型学会跟随指令,这背后隐含的意思是,预训练阶段模型已经吸收了几乎全部需要的知识和能力,后面的微调更像是"拨动一个开关",而不是"重新灌输知识"。这跟我们对"训练数据越多越好"的直觉是相反的，值得反复琢磨。

另一个让我停下来想了很久的点是关于思维链的真实性问题。我们一直以为让AI"写出思考过程"是为了透明和可信，但如果这个过程本身可能是模型编出来的合理化叙述，而不是它真正的决策路径，那我们对AI可解释性的信心是不是建立在一个不太牢靠的基础上?这个问题目前没有答案，但确实值得继续追问下去。

如果有一天AI能真正区分"我是在记忆"还是"我是在推理"，并且主动告诉你它用的是哪一种方式，那会是什么样的场景？

Q&A

Q1：大语言模型的预训练到底在学什么?

A：预训练让模型从海量无标注文本中自己学习语言规律和世界知识，不需要人工标注数据。常见方式包括只预测下一个词（如GPT系列）、随机遮盖部分词再还原（如BERT）、以及把各种任务统一成文本到文本的格式（如T5）。

Q2：RLHF和DPO有什么区别?

A：RLHF需要先训练一个独立的奖励模型，再用强化学习算法调整语言模型，流程复杂且需要同时维护四个模型。DPO通过数学推导证明最优奖励函数可以直接用策略模型表示，跳过了显式奖励模型训练这一步，训练过程更简洁、更稳定。

Q3：为什么只用极少量数据就能让大模型学会听指令?

A：研究发现模型的核心知识和语言能力在预训练阶段已经基本具备，后续的指令微调更像是"唤醒"这些已有能力而不是重新教学。有实验用仅1000条精心挑选的样本微调650亿参数模型，效果就能媲美大量数据训练的结果，这被称为"表面对齐假说"。