低秩矩阵

LoRA 往 Transformer 每层注入的可训练小矩阵：原始权重一个都不更新，更新只发生在这几个矩阵上，第二格显存因此塌下去。推理时可把它合并回原权重。

生产方式：AI 生成AI 生成，仅供参考签发：晓黎学习复核：2026年11月8日被 2 个词条引用

LoRA 摘要的做法一句话：冻住预训练权重，往 Transformer 的每层注入可训练的低秩矩阵，原始权重一个都不更新，更新只发生在那几个小矩阵上。三件事同时成立：要算梯度的参数从全部变成一小撮，显存第二格塌下去；权重还是原来那份、原来那个精度，第一格一点没动；推理时可以把低秩矩阵合并回去，作者据此在摘要里说它不像 adapter 那样增加推理延迟。见 LoRA、显存、梯度（Gradient）。

边界按课的取证状态写：真要改模型的表示本身（换分词、加新模块），低秩这条假设够不够用，本课未取证，不给结论。QLoRA 在同一手之上再去动第一格的存储精度，见 双重量化。

互链

链接来自概念卡正文里的双链，编译时能解到本期词条集的才成为站内链接。

反链（2）

出现在哪些课时里（1）

判据与「课时正文里能不能点出来」是同一个：那一节确实提到了它。点课时走当前页跳转， 它是导航，不是词条链接。

关联图

只画这一条与它直接相连的词条，边与上面两区同源。可拖拽、可缩放，点节点是新标签。

以列表方式看这 7 个节点

出处

路径是本地知识库（Obsidian 库）里的位置，正文与概念卡逐字对应。

  • 课程正文用法归纳省内存省的到底是哪一块账packages/db/prisma/lesson-content/qlora-memory-budget.md
  • 课程正文用法归纳课程派生词条 · 模型训练与后训练

编译入库：2026年11月2日。词条由知识库编译而来， 修正要回到概念卡改，再重新编译。