DPO 一家省掉了哪一步
建议用时：25 分钟（含练习）
学习目标
能够比较 DPO、IPO、SimPO、ORPO、KTO 各自去掉或保留了哪个近似，并据此按数据形态选型。
本节产出
一张五算法取舍表（数据形态 / 参考模型 / 主要代价）
核心知识：DPO 一家省掉的是两步，省不掉的是那一处近似
这一家子算法常被当成排行榜来讨论，比谁更"先进"。但选型时真正决定成败的第一个问题很朴素：手上的数据是成对的，还是逐条带标签的。 数据形态一换，能用的算法就整列消失，后面的比较再精彩也没意义。
先记住第 4 节那条基线：完整的 RLHF 有三道进料口不同的工序——人写的示范进监督微调，同题多答的排序进奖励模型，策略自己采的新输出配一个分数进策略更新。所谓"DPO 一家"，就是在争论这三道工序里能砍掉哪几道，砍掉之后要还什么债。
DPO 砍掉的两格
DPO 的摘要（本节所有论文主张都只核到 arXiv 摘要页，正文与图表未取）先把 RLHF 描述成一件复杂、常常不稳定的事：要先拟合一个反映人类偏好的奖励模型，再用强化学习去微调那个无监督的大模型，让它最大化这个估计出来的奖励，同时不要离原模型太远。然后作者给出自己的做法：给 RLHF 里的奖励模型换一种参数化，使对应的最优策略有闭式解，于是标准的 RLHF 问题只用一个简单的分类损失就能解。摘要还写它因此不需要在微调期间从语言模型采样，也不需要大量调参。
翻成工序的语言：DPO 省掉的是单独训练一个奖励模型和跑一轮强化学习采样循环这两格。省下的不只是代码量——第 4 节那个隐患（打分器只见过旧分布，策略一变它就成盲猜）也一并没了，因为这里根本没有一个独立训出来的打分器。
但有一处近似省不掉
IPO 那篇论文（讨论里通常被叫作 IPO，摘要本身给的是一族以成对偏好表达的一般目标，摘要写作 ΨPO，把该目标取成 Identity 就得到这篇的做法）把 RLHF 的地基拆成两处近似：第一处，假设成对偏好可以被逐点奖励替代；第二处，假设在这些逐点奖励上训出的奖励模型，能泛化到策略自己采出来的分布外数据。摘要明确写了 DPO 的位置：它绕开第二处、不经过奖励建模阶段就从采集到的数据直接学策略，但仍然重度依赖第一处。
第一处近似到底在说什么？人给的是"A 比 B 好"这种相对判断，而损失函数要用的是一个能把 A、B 各自摊成一个数的逐点结构。把次序压成分数，"好多少"这件事就交给了损失的形式去猜。DPO 没有取消这个转换，它只是把这个转换塞进了一个闭式解里，于是没人再单独检查它一次。这就是本课标题里那句"省不掉"。
后面几家在同一处继续拆
| 算法 | 吃什么形态的数据 | 摘要写明的做法（省掉哪一格） | 摘要同时留下的那一格 |
|---|---|---|---|
| DPO | 成对偏好：同题两答，标哪个更好 | 免掉奖励模型与强化学习循环，微调期间不用从模型采样，只用一个分类损失 | 重度依赖"成对偏好可被逐点分数替代"这处近似（IPO 摘要点名） |
| IPO（ΨPO 取 Identity 的特例） | 成对偏好：直接用成对形式写进目标 | 摘要的说法是绕开上面两处近似，并给出高效的优化过程与性能保证 | 摘要偏理论；它相对 DPO 在实际数据上差多少，未取正文，本课不判 |
| SimPO | 成对偏好 | 用序列的平均对数概率当隐式奖励，因而不需要参考模型，更省算力与显存；在 Bradley-Terry 目标里加一个目标奖励间隔 | 摘要写明它的比较对象是 DPO 及其后续变体；"少一份权重"少掉了什么约束，摘要没讲 |
| ORPO | 成对偏好，但在监督微调阶段一起用 | 免参考模型的单阶段做法：把偏好项并进监督微调，省掉额外的偏好对齐阶段 | 摘要的前提是监督微调对成功收敛仍然必要，它惩罚的是"不被偏好的生成风格" |
| KTO | 逐条标签：这条输出可取 / 不可取 | 不再要求成对偏好；直接最大化生成结果的效用，而不是最大化偏好的对数似然 | 摘要自己给了一句边界：没有一个这类损失普遍占优，最好的那个取决于场景的归纳偏置 |
KTO 那行的来路值得多说一句。摘要引的前景理论（Kahneman 和 Tversky）讲的是人对随机量的感知有系统偏置，比如损失厌恶；作者发现现有的对齐目标其实已经隐含了这批偏置，并把它们归成一类叫 human-aware losses（HALOs）的损失——DPO 之所以比只用交叉熵管用，作者认为一部分原因就在这里。KTO 换的是效用模型的形状，数据要求跟着变成逐条好坏。
最容易混的一处：省掉参考模型不等于省掉约束
常被连在一起说
- 不需要参考模型，所以更省显存
- 省了显存，所以训练更稳
- 少了这一步，模型就更接近"直接学偏好"
其实是两件事
- 免参考模型省的是"再挂一份权重做对照"这笔开销（SimPO、ORPO 摘要各写了一次）
- "别偏离原模型太远"是一处约束，它有没有被别的东西替代，摘要没逐条交代
- 少一份权重不等于少一层保护：第 3 节那个会撒谎的分数，在少锚点的走法里更值得盯
这一格的判断，本课标成推断：摘要只写了"不需要参考模型""更省算力显存"，没写因此少了哪道保险。要把这一格补实，得回正文核对，不是靠"更简洁所以更好"。
这张图承担的论证是同一批料、三条走法、每条边上写的就是省掉的那一格。根上的方框把数据形态钉死成"成对偏好：同题两答比好坏"，从它伸出三条带字的边——保留两步（先拟合奖励，再强化学习，就是第 4 节那条链）、省掉两步（直接进损失，闭式重参数化，DPO 一类）、换数据形态（逐条好坏标签，不需要成对，KTO 一类）。第四条边不在根上，它从"直接进损失"再往下走到"不要参考模型、用平均对数概率"，标签是再省一层，这就是 SimPO 那一格。图里每个方框只是一类的代表，ORPO 那种"把偏好项并进监督微调、连额外对齐阶段一起省掉"的走法没有单列方框——它省的位置和 SimPO 相近，但吃料的时机不同。分支不是台阶：图里没有自上而下的排位，选哪条取决于进料，不取决于谁新。
案例：星湾社区服务中心的四堆数据（虚构）
接着第 4 节那家虚构机构往下讲。2026 年 10 月底，三步链跑完一轮之后复盘，李陌把手里的东西重新点了一遍——下面四组数量、两行读数都是课堂编的教学用虚构样例，机构、人名、接口 https://api.example.invalid/v1、模型名 example-chat-mini 都不对应任何真实系统。
| 场景 | 手上有什么 | 约束条件（虚构） |
|---|---|---|
| 甲 | 1500 对同题两答的比较结果（就是第 4 节的 D3），没人写过标准答案 | 一台卡，跑推理勉强 |
| 乙 | 900 条"合格 / 不合格"的单条标签（就是 D5）+ 1200 组手写标准回答 | 只能训一次，不能反复试 |
| 丙 | 只有 1200 组手写标准回答，一条比较都没有 | 下周要交 |
| 丁 | 800 组同题四条输出的完整排序 + 一份现成的初始模型 | 显存只放得下一份权重，放不下第二份对照 |
周衡的第一反应是"挑最有名那个"。许岚把话头扳回来：先说数据长什么样。
甲的情况最尴尬：成对偏好有，但要挂两份权重（策略与参考）时余量不够。这一步的推论是按数据形态能选、按资源未必选得动，乙才是 KTO 那种逐条标签形态的主场——注意乙还有 1200 组手写回答，这就把"要不要先走一遍监督微调"这个问题摆上桌，ORPO 摘要正好在这条线上说话。丙最干净：没有任何比较数据，这一家五个算法全都无从算起，能做的只有监督微调，想要偏好就得先去采比较。丁跟甲相反，比较数据充足、卡也宽裕，DPO 那类走法在这里最省事。
两行虚构读数（同一次复盘，教学样例）：
2026-10-28 21:07 run=甲改选免参考 显存峰值=下降 抽查：回答更长、离初始模型更远
2026-10-28 21:15 run=丁 一次更新耗时=上升 备注：同一批料要算两份对数概率
第一行读出的三件事彼此独立：省下的那一格是真的省了；"更长、更远"是代价还没被定价。第二行是给"需要几次前向"这一格做的伏笔——它不在摘要里，只能自己按损失要算什么推。
动手练习
- 四场景选型。输入：案例里甲、乙、丙、丁四组数据与约束。任务：各选一个算法（五个候选里选，也可以答"这一家都别用"），并写出被舍弃的那一项在这个场景下的代价——不是通用缺点，是这个场景里会丢的东西。预期输出：四段，每段三行：数据形态关键词、选定算法与理由、被舍弃项的代价。验收条件：丙那一格必须落到"没有比较数据"这件事上，不许用"模型不够好"；每段至少一行点明数据形态而不是名气。
- 给取舍表补两列。输入：本节那张五算法表的四列。任务：加上"需要参考模型吗"和"需要几次前向"两列，逐格填；填不出来的格子不许留空，写明这一格的证据来自哪条摘要，或者它来自你自己的推断，并单独标出你最不确定的一格。预期输出：一张七列的表，外加一句话"我最不确定的是哪一格、要怎么才能确认"。验收条件：至少两格的依据是"摘要原话"；至少一格的依据被明确写成推断；"需要几次前向"这一列不许编具体数字，只许写"几个模型各算一遍"这种可核对的说法。
- 交一张完整取舍表。输入：前两题的结果。任务：把五算法按"数据形态 / 是否需要参考模型 / 主要代价"三栏重排成一页，并在表顶写一句选型顺序（先问什么、再问什么）。预期输出：一页能直接贴进方案里的表。验收条件：表顶那句顺序里第一个问题必须是数据形态；表里凡属推断的格子都要有标记；不许出现"效果最好""最强"这类没有依据的排位。
参考答案与推演
完成检查
- 能说出 DPO 省掉的是奖励模型和强化学习循环，省不掉的是"成对偏好可以被逐点分数替代"这处近似，并且能指出是谁把这处近似点出来的。
- 拿到一批新数据，第一句话问的是形态（成对还是逐条、有没有手写回答），不是"现在流行哪个"。
- 能对五算法中任一个说清它的取舍表那一格凭什么——摘要原话，还是自己的推断。
参考与来源
- Direct Preference Optimization: Your Language Model is Secretly a Reward Model（arXiv 摘要页，v1 提交 2023-05-29）：核到的是摘要里两句——作者把 RLHF 写成复杂且常常不稳定的过程（先拟合奖励模型，再用强化学习最大化估计奖励、且不能离原模型太远），以及他们重述奖励模型的参数化让最优策略有闭式解、只用一个简单的分类损失、微调期间不必从模型采样。论文里的偏好评测与胜率数字未取正文，本节不引。2026-10-23 回本页逐句核过。
- A General Theoretical Paradigm to Understand Learning from Human Preferences（arXiv 摘要页，v1 提交 2023-10-18）：核到的是摘要里那两处近似（成对偏好可由逐点奖励替代；在逐点奖励上训练的奖励模型能泛化到策略采出的分布外数据），以及"DPO 绕开第二处、仍重度依赖第一处"这一句。摘要给出的是一族以成对偏好表达的一般目标与把该目标取成 Identity 的特例；具体优化式与实验结果未取，本节不写。
- SimPO: Simple Preference Optimization with a Reference-Free Reward（arXiv 摘要页，v1 提交 2024-05-23）：核到的是摘要里的两个设计——用序列的平均对数概率作隐式奖励，从而免掉参考模型、更省算力与显存；在 Bradley-Terry 目标里引入目标奖励间隔。摘要同时把 DPO 描述为离线的偏好优化算法。论文给出的各项基准分数与胜率未取，本节一律不引。
- ORPO: Monolithic Preference Optimization without Reference Model（arXiv 摘要页，v1 提交 2024-03-12）：核到的是摘要里两句——监督微调对成功收敛仍然必要，对不被偏好的生成风格加一点惩罚就够；提出的做法是免参考模型的单阶段（比值比）偏好优化，省掉额外的偏好对齐阶段。摘要里的模型规模与各项分数未取，本节不引。
- KTO: Model Alignment as Prospect Theoretic Optimization（arXiv 摘要页，v1 提交 2024-02-02）：核到的是摘要里三句——现有对齐目标已隐含前景理论描述的人类偏置（作者称 human-aware losses，HALOs）；KTO 直接最大化生成结果的效用而不是偏好的对数似然；它只从"这条输出是否可取"的二元信号学习，并明确说没有哪一个这类损失普遍占优。摘要里的模型规模区间与实验比较未取，本节不引。
附件
- 登录后下载
dpo-family-tradeoffs-practice-data.zip
ZIP 文件
DPO 一家省掉了哪一步
3 道题 · 及格分 60 分