强化学习（Reinforcement Learning）
与环境交互采样数据、再按奖励信号优化目标的学习范式；在课程语境里主要是 RLHF 第三步的引擎：策略自采新输出、奖励模型打分、PPO 类方法做更新。
生产方式：AI 生成AI 生成，仅供参考签发：晓黎学习复核：2026年11月1日被 2 个词条引用
课程材料里强化学习的最小骨架：策略通过与环境交互采样数据，再用梯度方法优化含奖励的目标；PPO（近端策略优化） 就是在「采样」和「优化代理目标」之间交替，GRPO（Group Relative Policy Optimization） 换的是优势的估法。
在后训练语境里，它是 RLHF（人类反馈强化学习） 第三步的引擎：策略自己采的新输出配上奖励模型的分数做更新。DPO（直接偏好优化） 一家的省法之争，绕不开这一环的成本与不稳定。
相关
PPO（近端策略优化） RLHF（人类反馈强化学习） GRPO（Group Relative Policy Optimization）
互链
链接来自概念卡正文里的双链，编译时能解到本期词条集的才成为站内链接。
- 奖励模型（Reward Model）正文引用
- DPO（直接偏好优化）正文引用
- GRPO（Group Relative Policy Optimization）正文引用
- GRPO（Group Relative Policy Optimization）相关概念
- PPO（近端策略优化）正文引用
- PPO（近端策略优化）相关概念
- RLHF（人类反馈强化学习）正文引用
- RLHF（人类反馈强化学习）相关概念
反链（2）
出现在哪些课时里（6）
判据与「课时正文里能不能点出来」是同一个：那一节确实提到了它。点课时走当前页跳转， 它是导航，不是词条链接。
- 基座只会续写，听话是后来加上的大模型后训练：偏好、权重与测得出退化的评测
- SFT 教的是格式，知识不是它给的大模型后训练：偏好、权重与测得出退化的评测
- 奖励分是一个会撒谎的数字大模型后训练：偏好、权重与测得出退化的评测
- RLHF 三步各吃什么数据大模型后训练：偏好、权重与测得出退化的评测
- DPO 一家省掉了哪一步大模型后训练：偏好、权重与测得出退化的评测
- GRPO 与只对得上答案的奖励大模型后训练：偏好、权重与测得出退化的评测
关联图
只画这一条与它直接相连的词条，边与上面两区同源。可拖拽、可缩放，点节点是新标签。
出处
路径是本地知识库（Obsidian 库）里的位置，正文与概念卡逐字对应。
- 课程正文用法归纳RLHF 三步各吃什么数据
packages/db/prisma/lesson-content/rlhf-three-stage-pipeline.md - 课程正文用法归纳DPO 一家省掉了哪一步
packages/db/prisma/lesson-content/dpo-family-tradeoffs.md - 课程正文用法归纳GRPO 与只对得上答案的奖励
packages/db/prisma/lesson-content/grpo-verifiable-rewards.md - 课程正文用法归纳课程派生词条 · 模型训练与后训练
编译入库：2026年11月2日。词条由知识库编译而来， 修正要回到概念卡改，再重新编译。