蒸馏（知识蒸馏）

「搬」能力三条路里搬行为的那条：用教师模型的输出信号（乃至中间步骤）作为训练数据教小模型；省的是训练信号来源，不是权重字节数。

生产方式：AI 生成AI 生成，仅供参考签发：晓黎学习复核：2026年11月1日被 6 个词条引用

课程给的判据一句话：蒸馏搬的是行为，合并搬的是权重差。

蒸馏拿教师的输出信号当训练数据，不需要拿到权重本身；课时还讨论了「不只吃最终答案，也吃中间步骤」——只对齐最后答案，学生可能记住答案的分布形状，学不到中间那几步的拆法。

课文明点名的一处易混：把蒸馏当压缩。量化压的是权重占几个字节，蒸馏压的是模型规模与训练信号来源，一个改存储、一个改学习来源，不能互相替；摘要之外的实现细节（比如常用的温度）本课未取正文，不给数值。

相关

量化（Quantization） 模型合并 微调（Fine-tuning）

互链

链接来自概念卡正文里的双链，编译时能解到本期词条集的才成为站内链接。

反链（6）

出现在哪些课时里（1）

判据与「课时正文里能不能点出来」是同一个：那一节确实提到了它。点课时走当前页跳转， 它是导航，不是词条链接。

关联图

只画这一条与它直接相连的词条，边与上面两区同源。可拖拽、可缩放，点节点是新标签。

以列表方式看这 6 个节点

出处

路径是本地知识库（Obsidian 库）里的位置，正文与概念卡逐字对应。

  • 课程正文用法归纳不训新能力，也能把能力搬进小模型packages/db/prisma/lesson-content/distill-and-merge.md
  • 课程正文用法归纳课程派生词条 · 模型训练与后训练

编译入库：2026年11月2日。词条由知识库编译而来， 修正要回到概念卡改，再重新编译。