LoRA

参数高效微调方法：冻住预训练权重，往 Transformer 每层注入可训练的低秩矩阵；更新只发生在小矩阵上，省的是梯度与优化器状态这笔账，不省底座权重本身的驻留。

生产方式：AI 生成AI 生成，仅供参考签发：晓黎学习复核：2026年11月1日被 6 个词条引用

LoRA 的做法课程核到的摘要写得很清楚：冻住预训练权重，往 Transformer 的每层注入可训练的低秩矩阵。原始权重一个都不更新，更新只发生在那几个小矩阵上。

它省的是显存四格账的第二格：优化器状态与可训练参数从「全模型」缩到「一小撮矩阵」。课程同时给出适用边界：多卡并行要另算通信与分片；序列很长、batch 很大时激活那格盖过一切，LoRA 救不了。

QLoRA 保住它的冻权重手法，再去动第一格。

相关

QLoRA 微调（Fine-tuning） 量化（Quantization）

互链

链接来自概念卡正文里的双链，编译时能解到本期词条集的才成为站内链接。

反链（6）

出现在哪些课时里（1）

判据与「课时正文里能不能点出来」是同一个：那一节确实提到了它。点课时走当前页跳转， 它是导航，不是词条链接。

关联图

只画这一条与它直接相连的词条，边与上面两区同源。可拖拽、可缩放，点节点是新标签。

以列表方式看这 7 个节点

出处

路径是本地知识库（Obsidian 库）里的位置，正文与概念卡逐字对应。

  • 课程正文用法归纳省内存省的到底是哪一块账packages/db/prisma/lesson-content/qlora-memory-budget.md
  • 课程正文用法归纳课程派生词条 · 模型训练与后训练

编译入库：2026年11月2日。词条由知识库编译而来， 修正要回到概念卡改，再重新编译。