GRPO（Group Relative Policy Optimization）
DeepSeekMath 提出的 PPO 变体：在提升数学推理能力的同时优化 PPO 的显存占用；课程采用的读法是省掉单独训练的价值网络，用同题一组样本互比来估计优势（这一格标注为推断）。
生产方式：AI 生成AI 生成，仅供参考签发：晓黎学习复核：2026年11月1日被 4 个词条引用
DeepSeekMath 的摘要（本课只核到 arXiv 摘要页）写得克制：作者引入 Group Relative Policy Optimization（GRPO），它是 PPO（近端策略优化） 的一个变体，在提升数学推理能力的同时优化 PPO 的显存占用。
课程接的是「优势」这一格：策略更新时一条输出该被推还是被压，依据不是绝对分数，而是它比这一轮平均水准好多少。GRPO 动的就是这里：用同一道题一组样本互相比较来估优势。至于「省掉那条要单独训练、单独驻留的价值网络」，课程明确要求标成推断——摘要只写了优化显存。
它与可验证奖励（只对得上答案的打分）搭配，见课时「GRPO 与只对得上答案的奖励」。
相关
互链
链接来自概念卡正文里的双链，编译时能解到本期词条集的才成为站内链接。
- 强化学习（Reinforcement Learning）相关概念
- PPO（近端策略优化）正文引用
- PPO（近端策略优化）相关概念
- RLHF（人类反馈强化学习）相关概念
反链（4）
出现在哪些课时里（1）
判据与「课时正文里能不能点出来」是同一个：那一节确实提到了它。点课时走当前页跳转， 它是导航，不是词条链接。
- GRPO 与只对得上答案的奖励大模型后训练：偏好、权重与测得出退化的评测
关联图
只画这一条与它直接相连的词条，边与上面两区同源。可拖拽、可缩放，点节点是新标签。
出处
路径是本地知识库（Obsidian 库）里的位置，正文与概念卡逐字对应。
- 课程正文用法归纳GRPO 与只对得上答案的奖励
packages/db/prisma/lesson-content/grpo-verifiable-rewards.md - 课程正文用法归纳RLHF 三步各吃什么数据
packages/db/prisma/lesson-content/rlhf-three-stage-pipeline.md - 课程正文用法归纳课程派生词条 · 模型训练与后训练
编译入库：2026年11月2日。词条由知识库编译而来， 修正要回到概念卡改，再重新编译。