策略梯度（Policy Gradient）
PPO 摘要所归类的那一族强化学习方法：在「与环境交互采样数据」和「用随机梯度上升优化代理目标」之间交替。标准做法每个样本只做一次梯度更新，PPO 换目标后敢在同一批样本上多轮小批量更新。
生产方式：AI 生成AI 生成，仅供参考签发：晓黎学习复核：2026年11月8日被 3 个词条引用
PPO 摘要核到的三句：它是一族策略梯度方法，交替做环境采样与代理目标优化；标准策略梯度每个数据样本只做一次梯度更新，PPO 的目标函数使同一批数据可以多轮小批量更新；它带有 TRPO 的一部分好处，实现更简单。见 采样（Sampling）、梯度（Gradient）。
「敢用多轮」的前提写在采样与更新的相对位置上：定方向用的是取样时记下的概率，更新轮数一多，被更新的策略离取样时那份越来越远，估计就不再对应当下的策略。伪代码合格只看两格：旧策略采的样、新参数在更新，这件事写没写；用完要丢，写没写。见 KL 散度、参考模型。
互链
链接来自概念卡正文里的双链，编译时能解到本期词条集的才成为站内链接。
- 采样（Sampling）正文引用
- 参考模型正文引用
- 梯度（Gradient）正文引用
- KL 散度正文引用
反链（3）
- 采样（Sampling）正文引用
- 价值网络正文引用
- 梯度（Gradient）正文引用
出现在哪些课时里（3）
判据与「课时正文里能不能点出来」是同一个：那一节确实提到了它。点课时走当前页跳转， 它是导航，不是词条链接。
- RLHF 三步各吃什么数据大模型后训练：偏好、权重与测得出退化的评测
- DPO 一家省掉了哪一步大模型后训练：偏好、权重与测得出退化的评测
- GRPO 与只对得上答案的奖励大模型后训练：偏好、权重与测得出退化的评测
关联图
只画这一条与它直接相连的词条，边与上面两区同源。可拖拽、可缩放，点节点是新标签。
以列表方式看这 6 个节点
出处
路径是本地知识库（Obsidian 库）里的位置，正文与概念卡逐字对应。
- 课程正文用法归纳RLHF 三步各吃什么数据
packages/db/prisma/lesson-content/rlhf-three-stage-pipeline.md - 课程正文用法归纳课程派生词条 · 模型训练与后训练
编译入库：2026年11月2日。词条由知识库编译而来， 修正要回到概念卡改，再重新编译。