IPO
把 RLHF 地基拆成两处近似的论文（讨论里通称 IPO）：点名 DPO 绕开了奖励模型的分布外泛化问题，却仍重度依赖「成对偏好可被逐点奖励替代」这处近似。
生产方式：AI 生成AI 生成，仅供参考签发：晓黎学习复核：2026年11月1日被 2 个词条引用
这篇论文在讨论里通常被叫作 IPO，摘要本身给的是一族以成对偏好表达的一般目标（摘要写作 ΨPO，把该目标取成 Identity 就得到这篇的做法）。
它的贡献是把 RLHF（人类反馈强化学习） 的地基拆成两处近似：第一处，假设成对偏好可以被逐点奖励替代；第二处，假设在这些逐点奖励上训出的奖励模型能泛化到策略自采的分布外数据。摘要明确写了 DPO（直接偏好优化） 的位置：绕开第二处、不经奖励建模阶段直接从数据学策略，但仍重度依赖第一处。
课程的边界声明：该摘要偏理论，它相对 DPO 在实际数据上差多少未取正文，本课不判。
相关
互链
链接来自概念卡正文里的双链，编译时能解到本期词条集的才成为站内链接。
- Bradley-Terry相关概念
- DPO（直接偏好优化）正文引用
- DPO（直接偏好优化）相关概念
- RLHF（人类反馈强化学习）正文引用
- RLHF（人类反馈强化学习）相关概念
反链（2）
- Bradley-Terry正文引用
- DPO（直接偏好优化）相关概念
出现在哪些课时里（1）
判据与「课时正文里能不能点出来」是同一个：那一节确实提到了它。点课时走当前页跳转， 它是导航，不是词条链接。
- DPO 一家省掉了哪一步大模型后训练：偏好、权重与测得出退化的评测
关联图
只画这一条与它直接相连的词条，边与上面两区同源。可拖拽、可缩放，点节点是新标签。
以列表方式看这 4 个节点
出处
路径是本地知识库（Obsidian 库）里的位置，正文与概念卡逐字对应。
- 课程正文用法归纳DPO 一家省掉了哪一步
packages/db/prisma/lesson-content/dpo-family-tradeoffs.md - 课程正文用法归纳课程派生词条 · 模型训练与后训练
编译入库：2026年11月2日。词条由知识库编译而来， 修正要回到概念卡改，再重新编译。