价值网络

PPO 里为估计优势而单独训练、单独驻留的一份与策略同规模的权重。本课读法认定 GRPO 省掉的是它，并明确把这一格标成推断（摘要只写了「优化 PPO 的显存占用」）。

生产方式：AI 生成AI 生成，仅供参考签发：晓黎学习复核：2026年11月8日被 2 个词条引用

GRPO 的 DeepSeekMath 摘要只写到：它是 PPO 的一个变体，在提升数学推理能力的同时优化 PPO 的显存占用。省掉的是哪一块，摘要没说。本课采用的读法是省掉那条要单独训练、单独驻留的价值网络，换来用一组样本互相比较来估计优势，并要求把这一句标成推断。见 策略梯度。

按这条读法，价值网络的账单是「多一份和策略同规模的权重、还要为它算梯度」。省掉之后基线从同一道题的一组采样里现算：组内每条的优势大约是它的分数减组平均。三笔代价：采样量换训练量、一组全对或全错就没有信号、优势只在题内可比。见 采样（Sampling）、可验证奖励、显存。

互链

链接来自概念卡正文里的双链，编译时能解到本期词条集的才成为站内链接。

反链（2）

出现在哪些课时里（1）

判据与「课时正文里能不能点出来」是同一个：那一节确实提到了它。点课时走当前页跳转， 它是导航，不是词条链接。

关联图

只画这一条与它直接相连的词条，边与上面两区同源。可拖拽、可缩放，点节点是新标签。

以列表方式看这 5 个节点

出处

路径是本地知识库（Obsidian 库）里的位置，正文与概念卡逐字对应。

  • 课程正文用法归纳GRPO 与只对得上答案的奖励packages/db/prisma/lesson-content/grpo-verifiable-rewards.md
  • 课程正文用法归纳课程派生词条 · 模型训练与后训练

编译入库：2026年11月2日。词条由知识库编译而来， 修正要回到概念卡改，再重新编译。