微调（Fine-tuning）

在预训练模型之上继续训练的统称：训练目标不换，换的是数据分布；SFT、偏好优化、LoRA/QLoRA 这些做法都在这一个词的伞下，但各自省的账不同。

生产方式：AI 生成AI 生成，仅供参考签发：晓黎学习复核：2026年11月1日被 9 个词条引用

微调的共同点是「基座模型接着训」：损失目标沿用预训练那套，变的是喂进去的数据分布。SFT（监督微调）的「损失函数没换，换的是数据」就是这个道理的特例；微调得到的权重差还能被当成可加可减的「任务向量」来做模型合并。

要分辨的是：微调是一类动作，不是一种损失——同是继续训，人写答案的叫 SFT，排序喂法牵进奖励模型，LoRA 与 QLoRA 说的则是「继续训的时候省哪笔内存」。

相关

SFT（监督微调） LoRA 模型合并

互链

链接来自概念卡正文里的双链，编译时能解到本期词条集的才成为站内链接。

奖励模型（Reward Model）正文引用
模型合并正文引用
模型合并相关概念
LoRA正文引用
LoRA相关概念
QLoRA正文引用
SFT（监督微调）正文引用
SFT（监督微调）相关概念

反链（9）

后训练（Post-training）正文引用
基座正文引用
模型合并相关概念
预训练正文引用
蒸馏（知识蒸馏）相关概念
BERT相关概念
LoRA相关概念
QLoRA相关概念
SFT（监督微调）相关概念

出现在哪些课时里（11）

判据与「课时正文里能不能点出来」是同一个：那一节确实提到了它。点课时走当前页跳转，它是导航，不是词条链接。

寒冬是三本账同时变差深度学习是怎么来的：机制、竞争与未定论
权重公开改变了谁能造模型深度学习是怎么来的：机制、竞争与未定论
仍在争议的历史：怎么对一条叙事提问深度学习是怎么来的：机制、竞争与未定论
基座只会续写，听话是后来加上的大模型后训练：偏好、权重与测得出退化的评测
SFT 教的是格式，知识不是它给的大模型后训练：偏好、权重与测得出退化的评测
奖励分是一个会撒谎的数字大模型后训练：偏好、权重与测得出退化的评测
RLHF 三步各吃什么数据大模型后训练：偏好、权重与测得出退化的评测
DPO 一家省掉了哪一步大模型后训练：偏好、权重与测得出退化的评测
省内存省的到底是哪一块账大模型后训练：偏好、权重与测得出退化的评测
不训新能力，也能把能力搬进小模型大模型后训练：偏好、权重与测得出退化的评测
四种失败形状，各指向哪一步大模型后训练：偏好、权重与测得出退化的评测

关联图

只画这一条与它直接相连的词条，边与上面两区同源。可拖拽、可缩放，点节点是新标签。

以列表方式看这 11 个节点

出处

路径是本地知识库（Obsidian 库）里的位置，正文与概念卡逐字对应。

课程正文用法归纳SFT 教的是格式，知识不是它给的packages/db/prisma/lesson-content/sft-teaches-format-not-facts.md
课程正文用法归纳省内存省的到底是哪一块账packages/db/prisma/lesson-content/qlora-memory-budget.md
课程正文用法归纳不训新能力，也能把能力搬进小模型packages/db/prisma/lesson-content/distill-and-merge.md
课程正文用法归纳基座只会续写，听话是后来加上的packages/db/prisma/lesson-content/pretrain-only-continues-text.md
课程正文用法归纳课程派生词条 · 模型训练与后训练

编译入库：2026年11月2日。词条由知识库编译而来，修正要回到概念卡改，再重新编译。