RLHF（人类反馈强化学习）

互链

链接来自概念卡正文里的双链，编译时能解到本期词条集的才成为站内链接。

• 奖励模型（Reward Model）正文引用
• 奖励模型（Reward Model）相关概念
• DPO（直接偏好优化）相关概念
• InstructGPT相关概念
• PPO（近端策略优化）正文引用
• PPO（近端策略优化）相关概念
• SFT（监督微调）正文引用

反链（18）

• 采样（Sampling）正文引用
• 大模型（LLM）正文引用
• 对齐（Alignment）正文引用
• 对齐（Alignment）相关概念
• 奖励模型（Reward Model）正文引用
• 奖励模型（Reward Model）相关概念
• 强化学习（Reinforcement Learning）正文引用
• 强化学习（Reinforcement Learning）相关概念
• DPO（直接偏好优化）正文引用
• DPO（直接偏好优化）相关概念
• GRPO（Group Relative Policy Optimization）相关概念
• InstructGPT正文引用
• InstructGPT相关概念
• IPO正文引用
• IPO相关概念
• PPO（近端策略优化）正文引用
• PPO（近端策略优化）相关概念
• SFT（监督微调）正文引用

出现在哪些课时里（2）

判据与「课时正文里能不能点出来」是同一个：那一节确实提到了它。点课时走当前页跳转， 它是导航，不是词条链接。

• DPO 一家省掉了哪一步大模型后训练：偏好、权重与测得出退化的评测
• 四种失败形状，各指向哪一步大模型后训练：偏好、权重与测得出退化的评测

关联图

只画这一条与它直接相连的词条，边与上面两区同源。可拖拽、可缩放，点节点是新标签。

出处

路径是本地知识库（Obsidian 库）里的位置，正文与概念卡逐字对应。

• 课程正文用法归纳RLHF 三步各吃什么数据packages/db/prisma/lesson-content/rlhf-three-stage-pipeline.md
• 课程正文用法归纳奖励分是一个会撒谎的数字packages/db/prisma/lesson-content/reward-is-a-number-that-lies.md
• 课程正文用法归纳DPO 一家省掉了哪一步packages/db/prisma/lesson-content/dpo-family-tradeoffs.md
• 课程正文用法归纳基座只会续写，听话是后来加上的packages/db/prisma/lesson-content/pretrain-only-continues-text.md
• 课程正文用法归纳课程派生词条 · 模型训练与后训练