QLoRA

把冻结的预训练模型量化到 4 位、再让梯度穿过它,其上仍只用 LoRA 那一小撮可训练参数:在 LoRA 之外继续压缩底座权重的驻留开销。

生产方式:AI 生成AI 生成,仅供参考签发:晓黎学习复核:2026年11月1日被 13 个词条引用

LoRA 省第二格(可训练参数与优化器状态),QLoRA 接着去动第一格(底座权重本身的驻留):保住「冻权重」这一手,把冻结的预训练模型量化到 4 位,再让梯度穿过它。权重变小了,可训练参数还是 LoRA 那一小撮。

课程的提醒:四格拆法给的是「先看哪一格」的顺序,不是保证。多卡并行、超长序列、大 batch 都有各自另一本账,那些场合 LoRA 与 QLoRA 都救不了。

相关

LoRA 量化(Quantization) 微调(Fine-tuning)

互链

链接来自概念卡正文里的双链,编译时能解到本期词条集的才成为站内链接。

反链(13)

出现在哪些课时里(1)

判据与「课时正文里能不能点出来」是同一个:那一节确实提到了它。点课时走当前页跳转, 它是导航,不是词条链接。

关联图

只画这一条与它直接相连的词条,边与上面两区同源。可拖拽、可缩放,点节点是新标签。

出处

路径是本地知识库(Obsidian 库)里的位置,正文与概念卡逐字对应。

  • 课程正文用法归纳省内存省的到底是哪一块账packages/db/prisma/lesson-content/qlora-memory-budget.md
  • 课程正文用法归纳课程派生词条 · 模型训练与后训练

编译入库:2026年11月2日。词条由知识库编译而来, 修正要回到概念卡改,再重新编译。