逐步蒸馏

与普通蒸馏的分界只在搬的格数：除教师的输出外，连中间步骤也当训练信号。摘要报告任务专用小模型能以更少数据、更小尺寸超过大模型；教师的冗长会一起搬来。

生产方式：AI 生成AI 生成，仅供参考签发：晓黎学习复核：2026年11月8日被 1 个词条引用

三条搬运路径的第二条：在复现教师的输出之外，把教师给出的推理链也当作额外训练信号。摘要里作者报告，任务专用的小模型能用更少的训练数据、更小的尺寸超过大模型。本课只核到摘要，未取任何实验表，不写数值。见 蒸馏（知识蒸馏）。

与第一条路的区别就这一格：普通蒸馏让学生答得像，逐步蒸馏还让学生想得像，至少训练目标是想得像。两处风险：话说得漂亮的链条与模型内部实际做了什么是不是一回事，本课不取证，不许把「它给出了理由」当成「理由是真的」；教师的冗长一起搬，教师爱写三段学生也学会写三段。案例读数（教学虚构）里逐步蒸馏总分最高、「正确但绕」从百分之十左右翻到百分之二十四。见 代理指标、留出集。

互链

链接来自概念卡正文里的双链，编译时能解到本期词条集的才成为站内链接。

反链（1）

出现在哪些课时里（1）

判据与「课时正文里能不能点出来」是同一个：那一节确实提到了它。点课时走当前页跳转， 它是导航，不是词条链接。

关联图

只画这一条与它直接相连的词条，边与上面两区同源。可拖拽、可缩放，点节点是新标签。

以列表方式看这 5 个节点

出处

路径是本地知识库（Obsidian 库）里的位置，正文与概念卡逐字对应。

  • 课程正文用法归纳不训新能力，也能把能力搬进小模型packages/db/prisma/lesson-content/distill-and-merge.md
  • 课程正文用法归纳课程派生词条 · 模型训练与后训练

编译入库：2026年11月2日。词条由知识库编译而来， 修正要回到概念卡改，再重新编译。