评测（Evaluation）
用固定样例、明确通过条件和可复查记录来判断系统好坏：既看最终结果也看运行轨迹，区分硬条件（零越权）与质量判断（量表、人工审阅），不把综合平均分当全部合格。
生产方式：AI 生成AI 生成，仅供参考签发：晓黎学习复核：2026年11月1日被 16 个词条引用
课程给评测定的范围：评测不仅看最终文章是否流畅，还要看来源准确性、未知项表达、范围遵守、可恢复性与成本；可以设五个固定样例（资料完整、缺一页、来源冲突、夹带指令、输入含虚构敏感标记），每个样例都定义必须出现和绝不能出现的结果。
两条纪律：对关键边界用明确的通过条件（例如越权工具调用必须为零），对表达清晰度用量表或人工审阅——不要把一个综合分数当成所有方面都合格，平均分可能掩盖一次严重失败。知识库那张 Eval Harness 卡给的口号是同一件事：用数据而非感觉评估 AI 效果。
相关
互链
链接来自概念卡正文里的双链，编译时能解到本期词条集的才成为站内链接。
- 工具调用（Tool Call）正文引用
- 幻觉（Hallucination）相关概念
- Bad Case相关概念
- Eval Harness（评估框架）正文引用
- Golden Set相关概念
反链（16）
- 代理指标正文引用
- 工作流与 Agent 的区分相关概念
- 幻觉（Hallucination）相关概念
- 回归（Regression）正文引用
- 留出集正文引用
- 任务说明（Task Brief）相关概念
- 停止条件正文引用
- 位置偏置正文引用
- 学习率（Learning Rate）正文引用
- 证据映射正文引用
- Bad Case相关概念
- Crossref相关概念
- CSV（逗号分隔值）相关概念
- Golden Set相关概念
- MT-Bench正文引用
- POC（概念验证）相关概念
出现在哪些课时里（15）
判据与「课时正文里能不能点出来」是同一个：那一节确实提到了它。点课时走当前页跳转， 它是导航，不是词条链接。
- 补上下文，用检查表迭代AI 基础：模型、产品与第一次成果
- MCP：标准化连接外部系统Agent 系统：Harness、MCP、Skill 与 Memory
- Skill：把验证过的方法变成可复用模板Agent 系统：Harness、MCP、Skill 与 Memory
- 结课设计：一个可治理的最小 Agent 系统Agent 系统：Harness、MCP、Skill 与 Memory
- 评测、版本与知识维护Obsidian AI 知识库与可复用工作流
- 毕业项目：发布一个可复用知识工作流Obsidian AI 知识库与可复用工作流
- 寒冬是三本账同时变差深度学习是怎么来的：机制、竞争与未定论
- 规模改变了什么：缩放曲线怎么读深度学习是怎么来的：机制、竞争与未定论
- 权重公开改变了谁能造模型深度学习是怎么来的：机制、竞争与未定论
- SFT 教的是格式，知识不是它给的大模型后训练：偏好、权重与测得出退化的评测
- 奖励分是一个会撒谎的数字大模型后训练：偏好、权重与测得出退化的评测
- RLHF 三步各吃什么数据大模型后训练：偏好、权重与测得出退化的评测
- DPO 一家省掉了哪一步大模型后训练：偏好、权重与测得出退化的评测
- 不训新能力，也能把能力搬进小模型大模型后训练：偏好、权重与测得出退化的评测
- 四种失败形状，各指向哪一步大模型后训练：偏好、权重与测得出退化的评测
关联图
只画这一条与它直接相连的词条，边与上面两区同源。可拖拽、可缩放，点节点是新标签。
出处
路径是本地知识库（Obsidian 库）里的位置，正文与概念卡逐字对应。
- 课程正文用法归纳结课设计：一个可治理的最小 Agent 系统
packages/db/prisma/lesson-content/agent-system-capstone.md - 课程正文用法归纳评测、版本与知识维护
packages/db/prisma/lesson-content/evaluation-and-maintenance.md - 课程正文用法归纳四种失败形状，各指向哪一步
packages/db/prisma/lesson-content/eval-and-failure-triage.md - 课程正文用法归纳课程派生词条 · Agent 与工具生态
编译入库：2026年11月2日。词条由知识库编译而来， 修正要回到概念卡改，再重新编译。