可验证奖励
由判对错的规则给分,不由打分器给分。课的收窄只算三种判法里的两种:程序判(规范化后逐格比对)与执行判(跑测试用例);人判不算本节说的可验证。
生产方式:AI 生成AI 生成,仅供参考签发:晓黎学习复核:2026年11月8日被 3 个词条引用
「可验证」要收窄到一句能操作的话:谁来判定对错。只有程序判与执行判算数;人判是奖励模型那一格,给的是偏好分数,会撒谎。一旦让「人看着挺好」进入这个位置,整套组内比较就退化成会虚高的数字。见 奖励模型(Reward Model)、代理指标。
能用的形状很窄:题目本身自带判据。R1 摘要点名的数学、代码竞赛、STEM 就是这个范围。三种不适用:开放题(没有判据就没有优势);只对得上结果、过程没人判(部分可验证,T5 的算式格就是例子);判据本身可以被讨好(清单越长命中越多,而奖励里没有一项在管多出来的是不是废话)。见 任务说明(Task Brief)、Golden Set。
互链
链接来自概念卡正文里的双链,编译时能解到本期词条集的才成为站内链接。
- 代理指标正文引用
- 奖励模型(Reward Model)正文引用
- 任务说明(Task Brief)正文引用
- Golden Set正文引用
反链(3)
- 采样(Sampling)正文引用
- 价值网络正文引用
- 推理链正文引用
出现在哪些课时里(1)
判据与「课时正文里能不能点出来」是同一个:那一节确实提到了它。点课时走当前页跳转, 它是导航,不是词条链接。
- GRPO 与只对得上答案的奖励大模型后训练:偏好、权重与测得出退化的评测
关联图
只画这一条与它直接相连的词条,边与上面两区同源。可拖拽、可缩放,点节点是新标签。
以列表方式看这 8 个节点
出处
路径是本地知识库(Obsidian 库)里的位置,正文与概念卡逐字对应。
- 课程正文用法归纳GRPO 与只对得上答案的奖励
packages/db/prisma/lesson-content/grpo-verifiable-rewards.md - 课程正文用法归纳课程派生词条 · 模型训练与后训练
编译入库:2026年11月2日。词条由知识库编译而来, 修正要回到概念卡改,再重新编译。