显存

训练与部署的容量账。本课拆成三笔加一格缓冲：权重、梯度与优化器状态、激活，以及必须留下的峰值余量。「这张卡跑不动」先落到具体一格，再谈解法。

生产方式：AI 生成AI 生成，仅供参考签发：晓黎学习复核：2026年11月8日被 9 个词条引用

三笔账各有解法，把解法用错格子，钱花完问题还在：第一格权重等于参数量乘以每参数字节数；第二格梯度与优化器状态按可训练参数量计，LoRA 动的就是这格；第三格激活随 batch、序列长度、层宽成倍变化，和参数量不是一条线；第四格峰值余量是前三格算完必须留的缓冲。多卡并行要再加通信缓冲与分片副本那一层，本课不展开。见低秩矩阵、双重量化、分页优化器。

两本账不许混：GRPO 为省这格省掉价值网络（本课读法，标推断），代价换成采样量；SimPO 与 ORPO 各写了一次免掉参考模型省下的算力与显存，但少一份权重少掉了什么约束，摘要没讲。见价值网络、参考模型。

互链

链接来自概念卡正文里的双链，编译时能解到本期词条集的才成为站内链接。

参考模型正文引用
参数量正文引用
低秩矩阵正文引用
分页优化器正文引用
价值网络正文引用
双重量化正文引用

反链（9）

参考模型正文引用
参数量正文引用
低秩矩阵正文引用
分页优化器正文引用
基座正文引用
价值网络正文引用
权重（Weight）正文引用
双重量化正文引用
梯度（Gradient）正文引用

出现在哪些课时里（5）

判据与「课时正文里能不能点出来」是同一个：那一节确实提到了它。点课时走当前页跳转，它是导航，不是词条链接。

并行的代价：Transformer 的取舍深度学习是怎么来的：机制、竞争与未定论
DPO 一家省掉了哪一步大模型后训练：偏好、权重与测得出退化的评测
GRPO 与只对得上答案的奖励大模型后训练：偏好、权重与测得出退化的评测
省内存省的到底是哪一块账大模型后训练：偏好、权重与测得出退化的评测
四种失败形状，各指向哪一步大模型后训练：偏好、权重与测得出退化的评测

关联图

只画这一条与它直接相连的词条，边与上面两区同源。可拖拽、可缩放，点节点是新标签。

以列表方式看这 10 个节点

出处

路径是本地知识库（Obsidian 库）里的位置，正文与概念卡逐字对应。

课程正文用法归纳省内存省的到底是哪一块账packages/db/prisma/lesson-content/qlora-memory-budget.md
课程正文用法归纳GRPO 与只对得上答案的奖励packages/db/prisma/lesson-content/grpo-verifiable-rewards.md
课程正文用法归纳DPO 一家省掉了哪一步packages/db/prisma/lesson-content/dpo-family-tradeoffs.md
课程正文用法归纳课程派生词条 · 模型训练与后训练

编译入库：2026年11月2日。词条由知识库编译而来，修正要回到概念卡改，再重新编译。