权重(Weight)
网络里可学习的参数。课里三条线都落在它上面:感知机按误差挪权重,LoRA 冻结原权重只更新低秩矩阵,合并同基座模型之间搬运的是「权重差」。
生产方式:AI 生成AI 生成,仅供参考签发:晓黎学习复核:2026年11月8日被 6 个词条引用
最原始的定义来自感知机:每个输入配一个权重,加权和过 阈值 出判断;「学习」就是误差直接触发权重改动,边界形状由样例上的误差推着走。见 感知机(Perceptron)、反向传播(Backpropagation)。
显存账里权重是第一格:参数量乘以每参数字节数,只推理也得装着它。LoRA 冻住预训练权重、更新只发生在注入的低秩矩阵上;合并路数搬运的是微调得到的权重差。见 显存、低秩矩阵、任务向量、量化(Quantization)。
互链
链接来自概念卡正文里的双链,编译时能解到本期词条集的才成为站内链接。
- 低秩矩阵正文引用
- 反向传播(Backpropagation)正文引用
- 感知机(Perceptron)正文引用
- 量化(Quantization)正文引用
- 任务向量(Task Vector)正文引用
- 显存正文引用
- 阈值(Threshold)正文引用
反链(6)
- 任务向量(Task Vector)正文引用
- 双重量化正文引用
- 异或(XOR)正文引用
- 阈值(Threshold)正文引用
- DARE正文引用
- TIES-Merging正文引用
出现在哪些课时里(14)
判据与「课时正文里能不能点出来」是同一个:那一节确实提到了它。点课时走当前页跳转, 它是导航,不是词条链接。
- Attention 与上下文窗口AI 基础:模型、产品与第一次成果
- 感知机的承诺:让数据来改判断依据深度学习是怎么来的:机制、竞争与未定论
- 反向传播不是 1986 年发明的深度学习是怎么来的:机制、竞争与未定论
- 寒冬是三本账同时变差深度学习是怎么来的:机制、竞争与未定论
- 从手写体到 ImageNet:卷积赢在哪一格深度学习是怎么来的:机制、竞争与未定论
- 序列为什么难,注意力解决了什么深度学习是怎么来的:机制、竞争与未定论
- 并行的代价:Transformer 的取舍深度学习是怎么来的:机制、竞争与未定论
- 权重公开改变了谁能造模型深度学习是怎么来的:机制、竞争与未定论
- 基座只会续写,听话是后来加上的大模型后训练:偏好、权重与测得出退化的评测
- DPO 一家省掉了哪一步大模型后训练:偏好、权重与测得出退化的评测
- GRPO 与只对得上答案的奖励大模型后训练:偏好、权重与测得出退化的评测
- 省内存省的到底是哪一块账大模型后训练:偏好、权重与测得出退化的评测
- 不训新能力,也能把能力搬进小模型大模型后训练:偏好、权重与测得出退化的评测
- 四种失败形状,各指向哪一步大模型后训练:偏好、权重与测得出退化的评测
关联图
只画这一条与它直接相连的词条,边与上面两区同源。可拖拽、可缩放,点节点是新标签。
出处
路径是本地知识库(Obsidian 库)里的位置,正文与概念卡逐字对应。
- 课程正文用法归纳感知机的承诺:让数据来改判断依据
packages/db/prisma/lesson-content/perceptron-promise.md - 课程正文用法归纳省内存省的到底是哪一块账
packages/db/prisma/lesson-content/qlora-memory-budget.md - 课程正文用法归纳不训新能力,也能把能力搬进小模型
packages/db/prisma/lesson-content/distill-and-merge.md - 课程正文用法归纳课程派生词条 · 模型与生成式 AI 基础
编译入库:2026年11月2日。词条由知识库编译而来, 修正要回到概念卡改,再重新编译。