参考模型

DPO 一类走法里额外挂着做对照的第二份权重。SimPO 与 ORPO 的摘要各写了一次不需要它：省的是再挂一份权重做对照这笔开销；「别离原模型太远」的约束有没有被替代，摘要没逐条交代。

生产方式：AI 生成AI 生成，仅供参考签发：晓黎学习复核：2026年11月8日被 3 个词条引用

算账口径：凡是需要参考模型的地方，同一批好坏回答要在策略与参考两份权重各算一次对数概率；免掉参考模型的那两格少一份。SimPO 用序列的平均对数概率作隐式奖励因而免掉它，ORPO 写成免参考模型的单阶段做法；「需要参考模型吗」这一列里 DPO 与 IPO 两格是从上面两家特意强调自己免掉了它反推出来的，属推断。见 DPO（直接偏好优化）、SimPO、ORPO。

课拦下的合并读法：免参考模型省的是「再挂一份权重做对照」这笔开销，但「别偏离原模型太远」是一处约束，它有没有被别的东西替代，摘要没逐条交代。少一份权重不等于少一层保护，这个会撒谎的分数在少锚点的走法里更值得盯。见 代理指标、显存。

互链

链接来自概念卡正文里的双链，编译时能解到本期词条集的才成为站内链接。

反链（3）

出现在哪些课时里（1）

判据与「课时正文里能不能点出来」是同一个：那一节确实提到了它。点课时走当前页跳转， 它是导航，不是词条链接。

关联图

只画这一条与它直接相连的词条，边与上面两区同源。可拖拽、可缩放，点节点是新标签。

以列表方式看这 8 个节点

出处

路径是本地知识库（Obsidian 库）里的位置，正文与概念卡逐字对应。

  • 课程正文用法归纳DPO 一家省掉了哪一步packages/db/prisma/lesson-content/dpo-family-tradeoffs.md
  • 课程正文用法归纳课程派生词条 · 模型训练与后训练

编译入库：2026年11月2日。词条由知识库编译而来， 修正要回到概念卡改，再重新编译。