位置偏置
MT-Bench 摘要点名的评审偏置之一:同样两条答复,谁排在前面会影响判决。课的判语:把候选换序再评一次不是可选项,而是最低要求。
生产方式:AI 生成AI 生成,仅供参考签发:晓黎学习复核:2026年11月8日被 2 个词条引用
定义:同样两条答复,谁排在前面会影响判决。因此「把候选换序再评一次」不是可选项,而是最低要求;换序双评只有两次判同一结果才算有效判决,两次不一致就丢掉这道题。它挡得住位置偏置,挡不住冗长偏置,因为换序不改变谁更长。见 冗长偏置。
失败形状课把它与冗长偏置、自我增强偏置同归「评审带偏置」一格:评测涨而真实任务不涨时,该改的一步是评测本身,先固定题目、加失败样例原文,再谈分数。另一个同源问题:拿某个模型给它自己产出的东西打分是直接的利益冲突,评审与被评模型要尽可能不同源。见 MT-Bench、评测(Evaluation)。
互链
链接来自概念卡正文里的双链,编译时能解到本期词条集的才成为站内链接。
- 评测(Evaluation)正文引用
- 冗长偏置正文引用
- MT-Bench正文引用
反链(2)
出现在哪些课时里(2)
判据与「课时正文里能不能点出来」是同一个:那一节确实提到了它。点课时走当前页跳转, 它是导航,不是词条链接。
- 奖励分是一个会撒谎的数字大模型后训练:偏好、权重与测得出退化的评测
- 四种失败形状,各指向哪一步大模型后训练:偏好、权重与测得出退化的评测
关联图
只画这一条与它直接相连的词条,边与上面两区同源。可拖拽、可缩放,点节点是新标签。
以列表方式看这 4 个节点
出处
路径是本地知识库(Obsidian 库)里的位置,正文与概念卡逐字对应。
- 课程正文用法归纳奖励分是一个会撒谎的数字
packages/db/prisma/lesson-content/reward-is-a-number-that-lies.md - 课程正文用法归纳四种失败形状,各指向哪一步
packages/db/prisma/lesson-content/eval-and-failure-triage.md - 课程正文用法归纳课程派生词条 · 模型训练与后训练
编译入库:2026年11月2日。词条由知识库编译而来, 修正要回到概念卡改,再重新编译。