奖励模型（Reward Model）
用同题多答的成对排序训练出来的打分器，在 RLHF 第三道工序里给策略自采的新输出打分；它只见过旧分布，策略一变打分就成了盲猜。
生产方式：AI 生成AI 生成，仅供参考签发：晓黎学习复核：2026年11月1日被 12 个词条引用
奖励模型的进料是排序：同一道题给出多个回答，人标哪个更好，用这些成对数据训出一个能把 A、B 各自摊成分数的模型，在 RLHF（人类反馈强化学习） 的第三道工序里当在线打分器用。
课程强调它的失效方式：那是一个会撒谎的数字。打分器只在旧输出分布上训过；策略一旦开始产出新形状，打分就是外推猜测；策略还会去钻打分器的空子，分数越高、实际越糟。
DPO（直接偏好优化） 的卖点正是把这份单独训出来的打分器整个省掉。
相关
互链
链接来自概念卡正文里的双链，编译时能解到本期词条集的才成为站内链接。
- Bradley-Terry相关概念
- DPO（直接偏好优化）正文引用
- DPO（直接偏好优化）相关概念
- RLHF（人类反馈强化学习）正文引用
- RLHF（人类反馈强化学习）相关概念
反链（12）
- 可验证奖励正文引用
- 强化学习（Reinforcement Learning）正文引用
- 损失函数（Loss Function）正文引用
- 微调（Fine-tuning）正文引用
- Bradley-Terry正文引用
- Bradley-Terry相关概念
- DPO（直接偏好优化）正文引用
- InstructGPT正文引用
- KL 散度正文引用
- KTO相关概念
- RLHF（人类反馈强化学习）正文引用
- RLHF（人类反馈强化学习）相关概念
出现在哪些课时里（3）
判据与「课时正文里能不能点出来」是同一个：那一节确实提到了它。点课时走当前页跳转， 它是导航，不是词条链接。
- RLHF 三步各吃什么数据大模型后训练：偏好、权重与测得出退化的评测
- DPO 一家省掉了哪一步大模型后训练：偏好、权重与测得出退化的评测
- GRPO 与只对得上答案的奖励大模型后训练：偏好、权重与测得出退化的评测
关联图
只画这一条与它直接相连的词条，边与上面两区同源。可拖拽、可缩放，点节点是新标签。
出处
路径是本地知识库（Obsidian 库）里的位置，正文与概念卡逐字对应。
- 课程正文用法归纳奖励分是一个会撒谎的数字
packages/db/prisma/lesson-content/reward-is-a-number-that-lies.md - 课程正文用法归纳RLHF 三步各吃什么数据
packages/db/prisma/lesson-content/rlhf-three-stage-pipeline.md - 课程正文用法归纳DPO 一家省掉了哪一步
packages/db/prisma/lesson-content/dpo-family-tradeoffs.md - 课程正文用法归纳课程派生词条 · 模型训练与后训练
编译入库：2026年11月2日。词条由知识库编译而来， 修正要回到概念卡改，再重新编译。