不训新能力，也能把能力搬进小模型

建议用时：25 分钟（含练习）

学习目标

能够比较蒸馏、逐步蒸馏与模型合并各自搬运的是什么，并指出各自会把什么问题一起搬过来。

本节产出

一张三条搬运路径的对照表

核心知识：三条搬运路径，搬的东西不一样

要让一个能上线的小模型更听话，未必要从头训练。"搬"有三条路，听起来都像"把大模型的能力拿过来"，实际动手时要问的问题完全不同。这一节给你一句判据，剩下都是它的推论：蒸馏搬的是行为，合并搬的是权重差。

第一条：蒸馏，搬的是行为

是什么。拿一个（或一组）已经训好的模型当教师，用它产出的东西当学生的训练信号。Hinton 2015 那篇摘要的说法是：把模型（包括集成）里所含的知识压进单个便于部署的模型，学生的训练直接吃教师给的输出。

为什么要。部署要小而快；一组教师的共识值得压成一个可发布的单模型；学生拿不到原始标注、只拿得到教师输出时，这条路也走得通。

怎么用。两步：先让教师对一批输入产出输出，再让学生在这批"教师的行为记录"上做训练。学生学到的判据始终是"我像不像教师"，不是"这件事本来该怎么做"。

什么时候不适用。教师不会的，学生学不到，上限被教师压住（推断，本课不取证）；教师的毛病会跟着一起搬过来，具体是哪几种毛病，本节末尾那张表里逐条写。

最容易混的一处：把蒸馏当成"压缩"。量化压的是权重占几个字节（第 7 节的第一格），蒸馏压的是模型规模与训练信号的来源。一个改存储，一个改学习来源，不能互相替。摘要之外的实现细节（比如那个常用的温度）本课未取正文，因此不给任何数值。

第二条：逐步蒸馏，多搬一格"怎么想"

是什么。在"复现教师的输出"之外，把教师给出的推理链也当作额外训练信号。摘要里作者报告：任务专用的小模型能用更少的训练数据、更小的尺寸超过大模型。

为什么要。有些任务难在过程而不是结果。只对齐最后答案，学生可能记住答案的分布形状，学不到中间那几步的拆法；把中间步骤写进训练目标，同样规模的模型能覆盖到更细的判据。

和第一条的区别就这一格：普通蒸馏让学生答得像，逐步蒸馏还让学生想得像——至少训练目标是想得像。

什么时候不适用、风险在哪。搬来的推理链是"话说得漂亮的链条"，它和模型内部实际做了什么是不是一回事，本课不取证，也不许把"它给出了理由"当成"理由是真的"。另外，教师的冗长会一起搬：教师爱写三段，学生也学会写三段，人评里的"正确但绕"就从这个方向来。

第三条：合并，搬的是权重差

这一支不产行为，只在权重空间做算术。三篇按顺序看：

• 任务向量（Editing Models with Task Arithmetic）：微调得到的权重差被当成一个可加可减的"任务向量"——同一基座加上它，就带上那个任务；减掉它，就削弱那个任务。这一篇把"差"变成了可以搬运的对象。
• TIES-Merging：处理合并时参数互相干扰这件事。摘要点名的就是 interference 这一格：几路权重差在同样的参数位置上想往相反方向走，直接相加会互相抵消。
• DARE：标题的说法是"语言模型是超级马里奥"，做法是把大部分权重差随机置零、再缩放剩下的，作者的宣称是能力可以被吸收进另一个模型。

为什么要。它省的是训练与数据这两步：不需要教师在线产出信号，不需要新示范，只要手上已经有几个同基座的微调结果。

什么时候不适用。合并省的是训练，不保证不相消。"两路差同基座所以一定不掉点"这句话在本课的证据层上站不住：同基座只保证加法在数值上有意义，不保证两路任务在同一批参数上不打架。TIES 那篇的存在本身就是"会打架"有人担心的记录。

最容易混的一处：把 DARE 那种"置零再缩放"读成"能力本来就在少数参数里，删了也不亏"。摘要给的是作者的主张和做法，不是对任意任务成立的定律；能不能不亏，只能在你的留出集上看。稀疏化比例这类具体超参本课未取正文，一律不给数值。

三条路放一起看

这张图承担的论证是：三条路的分界线在搬的东西，不在"省事程度"。如果把它读成一条从蒸馏到合并越来越省事的阶梯，就把最后一栏"会一起搬来什么"这一格丢了，而那一格才是选型时要读的地方。

还有一处最容易混：指针会自己漂

备课时最常见的一种错，是把二手清单里的 arXiv 编号原样抄过来。编号是会被抄错的，抄错的那条指向另一篇毫不相关的论文，标题看着也对得上，于是错号一路漂下去。本节每条引用都在 2026-10-23 回到摘要页逐条对过标题，对不上的不写进来源；你以后引别人的课，也要回原文对一次，别信清单。

案例：星湾的三条路怎么挑（以下为教学用虚构读数）

2026-10，星湾社区服务中心的张老师要 example-chat-mini 学会按本地口径回答。三条提案摆上桌。

李陌走逐步蒸馏：外部教师模型只能调接口 https://api.example.invalid/v1，他拿接口对 3000 条咨询问法批量产出答案与推理步骤——这批问法是中心自己编的虚构问法，不含任何居民的真实提问。

周衡走合并：他手上已经有两个分别微调过"养老补贴问答"和"残障服务问答"的检查点，同一个基座、同一次训练框架，主张把两份权重差加进去，"一次拿到两个领域，不用重训"。

许岚谁都不支持，她只要一件事：读数。她的原话是"你们两条路都能把总分抬上去，我要看的是哪一格的分数被谁换掉了"。

2026-10-18 那轮留出集读数（教学编造，不对应任何真实测量）：

方案	留出集总分（估读）	养老子集	残障子集	人评里"正确但绕"的比例
原基座	62	64	60	8%
单训养老	71	82	58	10%
单训残障	70	63	80	11%
两路差相加	71	65	74	12%
逐步蒸馏	73	76	72	24%

三个读法。两路差相加那一栏，总分和两个单训差不多，但拆开看就露馅：养老子集几乎掉回基座（64 到 65），残障子集留着 74。这正是"相消"的形状——两路差在养老那格上打掉了，合并省的是训练，赔的是另一路能力。逐步蒸馏那一栏总分最高，可"正确但绕"从百分之十左右翻到百分之二十四：教师爱写长，学生就照学，这是搬行为必然跟着搬的那一格。

张老师最后定的做法不是二选一，而是把两条都留下、把读数改成门槛：合并那条要先过"任一子集不得掉回基座之下"这一格才允许上线；蒸馏那条要在评测里加一条长度约束，"正确但绕"超过某个比例就回去改训练信号。这一条留到第 9 节正式写成评测方案。

动手练习

1. 四种虚构需求各选一条路。输入：甲，把某个外部大模型的答题风格搬进 example-chat-mini，你只有接口、拿不到它的权重；乙，已有三个同基座的领域微调检查点，想一次拿到三个领域；丙，要教学生的一类任务，你能找到的每个教师都不会；丁，这季度没有训练额度，只做一次权重相加和一轮评测。任务：各选蒸馏或合并（丙允许选不出），并各写一个会让该选择失败的条件。预期输出：四行，每行"选择加失败条件"。验收条件：失败条件要写成能看到的读数，不许写"效果可能不好"。
2. 把两句"一定不掉点"改成可证伪的版本。原话甲："按 DARE 的做法置零再缩放，能力本来就被吸收进来了，理论上不丢，所以不用留对照。"原话乙："三个检查点同一个基座，合并就是免费午餐，掉了点也一定是评测集的问题。"任务：各改写成一条带阈值、带对照、带读数位置的说法。预期输出：两行改写加两行说明。验收条件：写明被推翻时会看到什么读数、在哪个留出集上、和谁比；不许出现"理论保证"这四个字。
3. 交对照表。任务：把本节那张表重做成你自己的版本，五行：搬的是什么、要不要教师在线产出、要不要示范数据、省掉的是哪一步、会把什么一起搬过来；三条路各一列。预期输出：一张五行三列的表。验收条件：至少一格写"本课未取证"，且最后一行不许三列都填"能力"。

参考答案与推演

展开

完成检查

• 不用"知识蒸馏"这个词，也能说出蒸馏与合并的分工：一个改学生的学习来源，一个只在权重上做加减。
• 能各举一个失效场景：蒸馏那种（教师本身答错这一类题，学生照学），合并那种（两路差在同一子集上互相抵消）。
• 能说出逐步蒸馏比朴素蒸馏多搬的那一格，并说清那一格为什么不能算"证据"。
• 交出的对照表里，"会把什么一起搬来"这一行三列各不相同，且至少一处标了未取证。

参考与来源

• Distilling the Knowledge in a Neural Network（arXiv，2015-03-09）：2026-10-23 回摘要页核到"把模型（含集成）所含的知识压进单个便于部署的模型、学生直接吃教师输出"这一格。只核到摘要，温度等实现细节未取正文，正文一律不给数值。
• Distilling Step-by-Step! Outperforming Larger Language Models with Less Training Data and Smaller Model Sizes（arXiv，2023-05-03）：2026-10-23 回摘要页核到"把推理链当额外训练信号，作者报告任务专用小模型以更少数据与更小尺寸超过大模型"。只核到摘要，未取任何实验表。
• Editing Models with Task Arithmetic（arXiv，2022-12-08）：2026-10-23 回摘要页核到"微调得到的权重差被当作可加可减的任务向量"这一核心说法。只核到摘要，加减的具体配方与逐任务读数未取。
• TIES-Merging: Resolving Interference When Merging Models（arXiv，2023-06-02）：2026-10-23 回摘要页核到"合并时参数互相干扰"这一被点名的失败格。只核到摘要，其解决步骤的细节未取。
• Language Models are Super Mario: Absorbing Abilities from Homologous Models as a Free Lunch（arXiv，2023-11-06）：2026-10-23 回摘要页核到标题说法与"把大部分权重差随机置零再缩放、声称能力可被吸收进另一个模型"。只核到摘要，稀疏化比例与"免费"的边界条件未取正文，正文不给数值，也不转写成保证。