GPTQ
面向生成式预训练 Transformer 的训练后量化方法,论文标题即「Accurate Post-Training Quantization for Generative Pre-trained Transformers」;与 AWQ 同属部署侧成本账。
生产方式:AI 生成AI 生成,仅供参考签发:晓黎学习复核:2026年11月1日被 4 个词条引用
GPTQ 的论文标题把定位写全了:Accurate Post-Training Quantization for Generative Pre-trained Transformers——训练后量化、针对生成式预训练 Transformer、目标是保住精度。
课程把它与 AWQ 记在同一本账上:模型已经训好,量化压的是推理时占多少。这与 QLoRA 动训练账第一格的做法不同,两本账别混着算。
相关
互链
链接来自概念卡正文里的双链,编译时能解到本期词条集的才成为站内链接。
- 量化(Quantization)相关概念
- AWQ正文引用
- AWQ相关概念
- QLoRA正文引用
- QLoRA相关概念
反链(4)
- 量化(Quantization)正文引用
- 量化(Quantization)相关概念
- AWQ正文引用
- AWQ相关概念
出现在哪些课时里(1)
判据与「课时正文里能不能点出来」是同一个:那一节确实提到了它。点课时走当前页跳转, 它是导航,不是词条链接。
- 省内存省的到底是哪一块账大模型后训练:偏好、权重与测得出退化的评测
关联图
只画这一条与它直接相连的词条,边与上面两区同源。可拖拽、可缩放,点节点是新标签。
以列表方式看这 4 个节点
- AWQ11
- GPTQ9
- QLoRA17
- 量化(Quantization)16
出处
路径是本地知识库(Obsidian 库)里的位置,正文与概念卡逐字对应。
- 课程正文用法归纳省内存省的到底是哪一块账
packages/db/prisma/lesson-content/qlora-memory-budget.md - 课程正文用法归纳课程派生词条 · 模型训练与后训练
编译入库:2026年11月2日。词条由知识库编译而来, 修正要回到概念卡改,再重新编译。