基座只会续写，听话是后来加上的

建议用时：25 分钟（含练习）

学习目标

能够用下一词分布解释基座为什么把指令当成待补全的文本，并指出指令跟随是哪一步加上去的。

本节产出

一张「同一句输入的两种读法」对照卡

核心知识：预训练那一轮里，没有"这是一次请求"这回事

先把一句话钉住。预训练只做一件事：给定前面这串字符，给下一个词打分。上文进去，模型输出一个分布；从分布里挑一个词；挑出的这个词拼回上文末尾；再进下一轮。这个环一直跑到停止标记或者长度上限才停。

要紧的地方在于：这个环里没有一步在做"这是什么类型"的判断。它不区分眼前这串字符是一次提问、一条指令、一段闲聊，还是要接着写完的网页代码。语料里这四类东西混在同一个流里，损失函数对它们用的是同一个公式。所以"基座只会续写"不是贬低的话，它是对目标函数的直白描述：模型被训练成把上文继续下去，而"怎么继续"由语料统计决定，不由谁的要求决定。

它是什么：同一个环，两种读法

同一段输入，可能落在好几种后续分布上。"我能帮你做点什么？我这边有三个"这个开头，如果训练时它后面常跟着服务目录，模型就续出目录；如果常跟着客服话术，模型就续出话术。这里没有任何一处把输入识别成"请求"再去满足它。请求语义是人在读输出时自己补上去的，不是模型算出来的。

为什么要先分清：指令跟随是哪一步加上去的，原文可查

InstructGPT（2022 年 3 月提交，标题 Training language models to follow instructions with human feedback）的摘要第一句就把这件事写成一条可核对的观察：Making language models bigger does not inherently make them better at following a user's intent。直译过来就是模型变大本身并不会让它更擅长跟随用户的意图。摘要接着给出补这一层的两步：先收集标注员写好的期望行为示范数据，用它做监督学习式的微调；再收集对模型输出的排序数据，用它在监督微调之后的模型上继续做强化学习。哪份数据喂给哪一步，摘要里写得分明。也就是说，"听话"是后面加上去的一层；没加之前，模型手里只有续写。

LIMA（2023 年 5 月提交）从反方向给了一次独立支持。它的摘要把大模型训练描述成两个阶段：第一阶段从原始文本做无监督预训练，学通用表示；第二阶段做大规模的指令微调与强化学习，用来更好地对齐到任务与用户偏好。它的实验做法是把第二阶段减到极小，第一阶段一步没动。这个对照很关键——它说明那个猜下一词的环根本不是失效的原因，失效原因是这个环从没见过"这种输入要有那种回应"这类约束，而这个约束只能从后面的数据里来。

什么时候不适用：提示词不是训练

日常最常见的补救是在输入里加一句"你是一个助手，请把下面当成任务执行"。这招有时确实管用，但要知道它管用的地方在哪：它把上文挪到了语料里"指令后面跟答复"那一片分布上，权重一点没变。所以它有三个边界。

• 需要严格输出协议时不稳。要求只返回一层结构的文本时，基座可能把前半写对、后半续成另一种写法，因为它的目标只是"接着像"，不是"符合协议"。
• 改不动反复出现的失效。同一条提示今天管用、明天在别的题上又滑回目录腔，说明挪分布的杠杆很短。
• 不能带走。这份"听话"没有落到参数里，换一个模型名、换一个版本，一切从头再来。

要让它落到参数里，走的是后训练那条路，也就是这一章后面两节要讲的东西。

最容易混的一处

"它能接住对话"不等于"它理解这是一次请求"。对话感是海量对话语料的副产品，请求执行是训练目标之外的东西。判据可以只看一处：输出有没有把请求本身当成已经写好的内容重复一遍。基座的典型失效是接到"帮我排个班"之后写出"以下是居民常见的排班问题"——它把请求那几行字读成了正文的一部分，而不是读成一个要完成的动作的描述。

这张图承担的论证任务是把上面这套说法钉在一个可指认的形状上：环里只有"上文、打分、采样、拼回"这四件事，没有任何一条从"这是一次请求"进来的箭头。图里刻意不画"意图判断"这一格，因为预训练目标里确实没有这一格；而后面两节课要加的东西，正是加在这张图之外的另一层上。

帮我把下周三的居民答疑排个班，只留上午。

居民答疑是社区服务的重要一环，通常安排在工作日的上午进行。
以下是居民答疑中常见的问题：

1. 医保报销需要提交哪些材料
2. 老年优待证怎么办
3. 邻里纠纷找谁调解
4. 社区活动如何报名

建议您提前准备好身份证与相关材料，错峰前往。

如果您还有其他疑问，欢迎随时向社区服务中心咨询。

下周三（10 月 21 日）答疑只留上午：
9:00 到 11:30，服务中心二楼 3 号窗口，我和小周值班。
医保材料那类问题建议排在 9:30 之后，人少。
需要我把这份排班发给张老师确认吗？