学习率(Learning Rate)
每次参数更新的步幅。失败形状课里「损失平线」先分两半:学习率太小是信号在但推不动,数据没信号是推得动也没东西推;后者改多少学习率都一样平。
生产方式:AI 生成AI 生成,仅供参考签发:晓黎学习复核:2026年11月8日被 2 个词条引用
「一条平线」的归因第一格:损失几乎不动,最常指向学习率,或数据里本来就没有可学的信号。前者改一个数就能看见变化,后者改多少学习率都一样平。分开两半的方法是从同一批数据挑几十条,人工读一遍问「照着提示能不能答出目标」。见 损失函数、代理指标。
课给了一个反例形状:学习率调大十倍后损失仍纹丝不动,而数据抽查显示目标输出全是同一句模板。看着像学习率的格子,实际该改的是数据准备那一步。判据不是「再训训看」,是把失败形状指到该改的环节。见 评测(Evaluation)、Golden Set。
互链
链接来自概念卡正文里的双链,编译时能解到本期词条集的才成为站内链接。
- 代理指标正文引用
- 评测(Evaluation)正文引用
- 损失函数(Loss Function)正文引用
- Golden Set正文引用
反链(2)
- 代理指标正文引用
- 后训练(Post-training)正文引用
出现在哪些课时里(2)
判据与「课时正文里能不能点出来」是同一个:那一节确实提到了它。点课时走当前页跳转, 它是导航,不是词条链接。
- RLHF 三步各吃什么数据大模型后训练:偏好、权重与测得出退化的评测
- 四种失败形状,各指向哪一步大模型后训练:偏好、权重与测得出退化的评测
关联图
只画这一条与它直接相连的词条,边与上面两区同源。可拖拽、可缩放,点节点是新标签。
以列表方式看这 6 个节点
出处
路径是本地知识库(Obsidian 库)里的位置,正文与概念卡逐字对应。
- 课程正文用法归纳四种失败形状,各指向哪一步
packages/db/prisma/lesson-content/eval-and-failure-triage.md - 课程正文用法归纳RLHF 三步各吃什么数据
packages/db/prisma/lesson-content/rlhf-three-stage-pipeline.md - 课程正文用法归纳课程派生词条 · 模型与生成式 AI 基础
编译入库:2026年11月2日。词条由知识库编译而来, 修正要回到概念卡改,再重新编译。