KTO

吃逐条「可取 / 不可取」标签的对齐目标：不再要求成对偏好，直接最大化生成结果的效用；理论来路是前景理论里人对随机量感知的系统偏置（HALOs）。

生产方式：AI 生成AI 生成，仅供参考签发：晓黎学习复核：2026年11月1日被 2 个词条引用

DPO 一家大多吃成对偏好（同题两答比好坏），KTO 换了数据要求：逐条标签，这条输出可取或不可取。摘要写它直接最大化生成结果的效用，而不是最大化偏好的对数似然。

来路是前景理论（Kahneman 和 Tversky）：人对随机量的感知有系统偏置，比如损失厌恶；作者发现现有对齐目标其实已隐含这批偏置，归成一类叫 human-aware losses（HALOs）的损失。KTO 换的是效用模型的形状，数据要求跟着变成逐条好坏。

摘要自己给的边界：没有一个这类损失普遍占优，最好的那个取决于场景的归纳偏置。

相关

DPO（直接偏好优化） Bradley-Terry 奖励模型（Reward Model）

互链

链接来自概念卡正文里的双链，编译时能解到本期词条集的才成为站内链接。

反链（2）

出现在哪些课时里（1）

判据与「课时正文里能不能点出来」是同一个：那一节确实提到了它。点课时走当前页跳转， 它是导航，不是词条链接。

关联图

只画这一条与它直接相连的词条，边与上面两区同源。可拖拽、可缩放，点节点是新标签。

以列表方式看这 4 个节点

出处

路径是本地知识库（Obsidian 库）里的位置，正文与概念卡逐字对应。

  • 课程正文用法归纳DPO 一家省掉了哪一步packages/db/prisma/lesson-content/dpo-family-tradeoffs.md
  • 课程正文用法归纳课程派生词条 · 模型训练与后训练

编译入库：2026年11月2日。词条由知识库编译而来， 修正要回到概念卡改，再重新编译。