KL 散度
衡量两个分布差多远的读数。课里比的是训练后策略与它的初始化：HH-RLHF 摘要报告 RL 奖励与「策略对初始化的 KL 散度的平方根」大致成线性。它回答走了多远，不回答方向对不对。
生产方式：AI 生成AI 生成，仅供参考签发：晓黎学习复核：2026年11月8日被 2 个词条引用
先把词说白：KL 散度衡量两个分布差多远。这里比的两边是训练之后模型在每个上文下的下一词分布，和它出发时那个初始模型的同一套分布。这个读数只回答一个问题：你走了多远；不回答「走的方向对不对」。
摘要里可逐字核对的关系：HH-RLHF 报告 RL 奖励与策略相对其初始化的 KL 散度的平方根近似线性。课的读法：奖励一路涨时，模型离开初始化的距离同步被量出来，于是一次分数上涨有两种成因，真的更贴合偏好，或者只是更大胆，而这个读数本身分不清是哪一种。摘要没有给出任何可用阈值，也没说 KL 是质量指标，成因分析属推断。见 奖励模型（Reward Model）、代理指标。
互链
链接来自概念卡正文里的双链，编译时能解到本期词条集的才成为站内链接。
- 代理指标正文引用
- 奖励模型（Reward Model）正文引用
反链（2）
- 策略梯度（Policy Gradient）正文引用
- 代理指标正文引用
出现在哪些课时里（2）
判据与「课时正文里能不能点出来」是同一个：那一节确实提到了它。点课时走当前页跳转， 它是导航，不是词条链接。
- 奖励分是一个会撒谎的数字大模型后训练：偏好、权重与测得出退化的评测
- 四种失败形状，各指向哪一步大模型后训练：偏好、权重与测得出退化的评测
关联图
只画这一条与它直接相连的词条，边与上面两区同源。可拖拽、可缩放，点节点是新标签。
以列表方式看这 4 个节点
出处
路径是本地知识库（Obsidian 库）里的位置，正文与概念卡逐字对应。
- 课程正文用法归纳奖励分是一个会撒谎的数字
packages/db/prisma/lesson-content/reward-is-a-number-that-lies.md - 课程正文用法归纳四种失败形状，各指向哪一步
packages/db/prisma/lesson-content/eval-and-failure-triage.md - 课程正文用法归纳课程派生词条 · 模型训练与后训练
编译入库：2026年11月2日。词条由知识库编译而来， 修正要回到概念卡改，再重新编译。