损失函数（Loss Function）

定义「怎样算好」的优化公式。SFT 一格：损失函数没换，换的是数据。DPO 一格：把 RLHF 问题压进一个简单的分类损失，绕开奖励建模。

生产方式：AI 生成AI 生成，仅供参考签发：晓黎学习复核：2026年11月8日被 2 个词条引用

课的钉子：预训练与监督微调用的是同一个公式，给定上文猜下一个词，只是上文换成了问题、要猜的词换成了答复里的词。语料里提问、指令、闲聊、代码混在同一个流里，损失函数对它们用的是同一个公式。见 预训练、SFT（监督微调）。

偏好算法家系的差别也在这一格：DPO 把 RLHF 问题重参数化成一个简单的分类损失，免掉奖励模型与微调期间的采样循环；人给的「A 比 B 好」被压成逐点分数时，「好多少」交给了损失的形式去猜。见 DPO（直接偏好优化）、参考模型、奖励模型（Reward Model）。

互链

链接来自概念卡正文里的双链，编译时能解到本期词条集的才成为站内链接。

反链（2）

出现在哪些课时里（4）

判据与「课时正文里能不能点出来」是同一个：那一节确实提到了它。点课时走当前页跳转， 它是导航，不是词条链接。

关联图

只画这一条与它直接相连的词条，边与上面两区同源。可拖拽、可缩放，点节点是新标签。

以列表方式看这 7 个节点

出处

路径是本地知识库（Obsidian 库）里的位置，正文与概念卡逐字对应。

  • 课程正文用法归纳SFT 教的是格式，知识不是它给的packages/db/prisma/lesson-content/sft-teaches-format-not-facts.md
  • 课程正文用法归纳基座只会续写，听话是后来加上的packages/db/prisma/lesson-content/pretrain-only-continues-text.md
  • 课程正文用法归纳奖励分是一个会撒谎的数字packages/db/prisma/lesson-content/reward-is-a-number-that-lies.md
  • 课程正文用法归纳课程派生词条 · 模型与生成式 AI 基础

编译入库：2026年11月2日。词条由知识库编译而来， 修正要回到概念卡改，再重新编译。