采样（Sampling）
从候选分布中选出生成项的动作，也是后训练各步的进料方式：策略更新吃的是策略自己采出来的新输出；GRPO 用一道题采一组回答换掉价值网络。
生产方式：AI 生成AI 生成，仅供参考签发：晓黎学习复核：2026年11月8日被 5 个词条引用
生成环里，模型按解码策略从下一项候选分布中选择一个 Token，再接续计算；按分布抽样与取最高概率是两种策略。见 自回归、温度（Temperature）。
后训练第三步吃的就是采样：策略自己采出来的新输出，配一个分数，再决定推还是压；一批样本用完就丢弃，换新策略重新采。见 策略梯度、RLHF（人类反馈强化学习）。
GRPO 把「同题多采」变成机制：一道题采一组回答，组内互当参照估优势。课里数出的代价是采样量换掉训练量，同题采几条的开销在算力与延迟上找回来。见 价值网络、可验证奖励。
互链
链接来自概念卡正文里的双链，编译时能解到本期词条集的才成为站内链接。
- 策略梯度（Policy Gradient）正文引用
- 价值网络正文引用
- 可验证奖励正文引用
- 温度（Temperature）正文引用
- 自回归正文引用
- RLHF（人类反馈强化学习）正文引用
反链（5）
- 策略梯度（Policy Gradient）正文引用
- 价值网络正文引用
- 推理链正文引用
- 温度（Temperature）正文引用
- 自回归正文引用
出现在哪些课时里（4）
判据与「课时正文里能不能点出来」是同一个：那一节确实提到了它。点课时走当前页跳转， 它是导航，不是词条链接。
- 基座只会续写，听话是后来加上的大模型后训练：偏好、权重与测得出退化的评测
- RLHF 三步各吃什么数据大模型后训练：偏好、权重与测得出退化的评测
- DPO 一家省掉了哪一步大模型后训练：偏好、权重与测得出退化的评测
- GRPO 与只对得上答案的奖励大模型后训练：偏好、权重与测得出退化的评测
关联图
只画这一条与它直接相连的词条，边与上面两区同源。可拖拽、可缩放，点节点是新标签。
以列表方式看这 8 个节点
出处
路径是本地知识库（Obsidian 库）里的位置，正文与概念卡逐字对应。
- 课程正文用法归纳Token 与下一个 Token 预测
packages/db/prisma/lesson-content/token-and-next-token.md - 课程正文用法归纳RLHF 三步各吃什么数据
packages/db/prisma/lesson-content/rlhf-three-stage-pipeline.md - 课程正文用法归纳GRPO 与只对得上答案的奖励
packages/db/prisma/lesson-content/grpo-verifiable-rewards.md - 课程正文用法归纳课程派生词条 · 模型与生成式 AI 基础
编译入库：2026年11月2日。词条由知识库编译而来， 修正要回到概念卡改，再重新编译。