量化（Quantization）

压的是权重占几个字节：把高精度参数改写成低位宽表示，降低驻留与推理成本；改存储和运算精度，不改训练信号来源，别与蒸馏混成一件事。

生产方式：AI 生成AI 生成，仅供参考签发：晓黎学习复核：2026年11月1日被 8 个词条引用

量化压的是权重占几个字节。课程把两本账分开：QLoRA 在训练链路里把冻结底座量化到 4 位；GPTQ、AWQ 属于「面向部署的权重量化」——模型已经训好，压的是上线成本。

最容易混的一处（课文明点名）：把量化当成「压缩」再与蒸馏互换。量化改存储，蒸馏改学习来源，不能互相替。

相关

QLoRA GPTQ AWQ 蒸馏（知识蒸馏）

互链

链接来自概念卡正文里的双链，编译时能解到本期词条集的才成为站内链接。

蒸馏（知识蒸馏）正文引用
蒸馏（知识蒸馏）相关概念
AWQ正文引用
AWQ相关概念
GPTQ正文引用
GPTQ相关概念
QLoRA正文引用
QLoRA相关概念

反链（8）

权重（Weight）正文引用
双重量化正文引用
蒸馏（知识蒸馏）正文引用
蒸馏（知识蒸馏）相关概念
AWQ相关概念
GPTQ相关概念
LoRA相关概念
QLoRA相关概念

出现在哪些课时里（4）

判据与「课时正文里能不能点出来」是同一个：那一节确实提到了它。点课时走当前页跳转，它是导航，不是词条链接。

序列为什么难，注意力解决了什么深度学习是怎么来的：机制、竞争与未定论
省内存省的到底是哪一块账大模型后训练：偏好、权重与测得出退化的评测
不训新能力，也能把能力搬进小模型大模型后训练：偏好、权重与测得出退化的评测
四种失败形状，各指向哪一步大模型后训练：偏好、权重与测得出退化的评测

关联图

只画这一条与它直接相连的词条，边与上面两区同源。可拖拽、可缩放，点节点是新标签。

以列表方式看这 8 个节点

出处

路径是本地知识库（Obsidian 库）里的位置，正文与概念卡逐字对应。

课程正文用法归纳省内存省的到底是哪一块账packages/db/prisma/lesson-content/qlora-memory-budget.md
课程正文用法归纳不训新能力，也能把能力搬进小模型packages/db/prisma/lesson-content/distill-and-merge.md
课程正文用法归纳课程派生词条 · 模型训练与后训练

编译入库：2026年11月2日。词条由知识库编译而来，修正要回到概念卡改，再重新编译。