DPO（直接偏好优化）

给 RLHF 的奖励模型换一种参数化，让最优策略有闭式解，于是一个简单分类损失就能做偏好对齐，省掉单独训奖励模型和强化学习采样循环两格。

生产方式：AI 生成AI 生成，仅供参考签发：晓黎学习复核：2026年11月1日被 17 个词条引用

DPO 论文先把 RLHF（人类反馈强化学习）描述成复杂且常常不稳定的事：先拟合反映人类偏好的奖励模型，再用强化学习最大化估计奖励。DPO 的做法是给奖励模型换一种参数化，使对应的最优策略有闭式解，标准的 RLHF 问题只用一个分类损失就能解，微调期间不需要从模型采样。

省掉的是两格：单独训奖励模型、跑强化学习采样循环。但课程按 IPO 的拆法提醒：RLHF 地基有两处近似，DPO 绕开了第二处（分布外泛化），仍重度依赖第一处——成对偏好可以被逐点分数替代。

相关

RLHF（人类反馈强化学习） IPO SimPO ORPO KTO

互链

链接来自概念卡正文里的双链，编译时能解到本期词条集的才成为站内链接。

奖励模型（Reward Model）正文引用
IPO相关概念
KTO相关概念
ORPO相关概念
RLHF（人类反馈强化学习）正文引用
RLHF（人类反馈强化学习）相关概念
SimPO相关概念

反链（17）

参考模型正文引用
对齐（Alignment）正文引用
对齐（Alignment）相关概念
奖励模型（Reward Model）正文引用
奖励模型（Reward Model）相关概念
强化学习（Reinforcement Learning）正文引用
损失函数（Loss Function）正文引用
InstructGPT正文引用
IPO正文引用
IPO相关概念
KTO相关概念
ORPO正文引用
ORPO相关概念
RLHF（人类反馈强化学习）相关概念
SFT（监督微调）相关概念
SimPO正文引用
SimPO相关概念

出现在哪些课时里（1）

判据与「课时正文里能不能点出来」是同一个：那一节确实提到了它。点课时走当前页跳转，它是导航，不是词条链接。

DPO 一家省掉了哪一步大模型后训练：偏好、权重与测得出退化的评测

关联图

只画这一条与它直接相连的词条，边与上面两区同源。可拖拽、可缩放，点节点是新标签。

以列表方式看这 13 个节点

出处

路径是本地知识库（Obsidian 库）里的位置，正文与概念卡逐字对应。

课程正文用法归纳DPO 一家省掉了哪一步packages/db/prisma/lesson-content/dpo-family-tradeoffs.md
课程正文用法归纳RLHF 三步各吃什么数据packages/db/prisma/lesson-content/rlhf-three-stage-pipeline.md
课程正文用法归纳课程派生词条 · 模型训练与后训练

编译入库：2026年11月2日。词条由知识库编译而来，修正要回到概念卡改，再重新编译。