MT-Bench
研究「强模型当评审」这篇论文提出的两个基准之一(另一个是 Chatbot Arena)。本课只核到摘要:点名的评审局限含位置偏置、冗长偏置与自我增强偏置,并提出办法缓解其中一部分。
生产方式:AI 生成AI 生成,仅供参考签发:晓黎学习复核:2026年11月8日被 2 个词条引用
两节课都挂在这条摘要上:Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena 讨论 LLM 当评审的使用与限制,点名位置偏置、冗长偏置、自我增强偏置,并提到评审自身推理能力有限;「提出办法缓解其中一部分」按摘要措辞引用,不读成全部解决。本课只核到摘要,一致率等实验数字一律不引。见 位置偏置、冗长偏置。
评审偏置是失败形状四的指向之一:评测涨而真实任务不涨,可能是评测集自己变了,也可能是评审带偏置。只有总分的时候,你永远分不清是模型变好了还是题目变易了。见 评测(Evaluation)、代理指标、Golden Set。
互链
链接来自概念卡正文里的双链,编译时能解到本期词条集的才成为站内链接。
- 代理指标正文引用
- 评测(Evaluation)正文引用
- 冗长偏置正文引用
- 位置偏置正文引用
- Golden Set正文引用
反链(2)
出现在哪些课时里(2)
判据与「课时正文里能不能点出来」是同一个:那一节确实提到了它。点课时走当前页跳转, 它是导航,不是词条链接。
- 奖励分是一个会撒谎的数字大模型后训练:偏好、权重与测得出退化的评测
- 四种失败形状,各指向哪一步大模型后训练:偏好、权重与测得出退化的评测
关联图
只画这一条与它直接相连的词条,边与上面两区同源。可拖拽、可缩放,点节点是新标签。
以列表方式看这 6 个节点
出处
路径是本地知识库(Obsidian 库)里的位置,正文与概念卡逐字对应。
- 课程正文用法归纳四种失败形状,各指向哪一步
packages/db/prisma/lesson-content/eval-and-failure-triage.md - 课程正文用法归纳奖励分是一个会撒谎的数字
packages/db/prisma/lesson-content/reward-is-a-number-that-lies.md - 课程正文用法归纳课程派生词条 · 模型训练与后训练
编译入库:2026年11月2日。词条由知识库编译而来, 修正要回到概念卡改,再重新编译。