梯度（Gradient）

参数该往哪个方向挪的依据：更新一个参数就得为它算梯度，优化器还要再挂同形状的缓冲。QLoRA 的判据正是「这份权重接下来会不会被梯度写回」。

生产方式：AI 生成AI 生成，仅供参考签发：晓黎学习复核：2026年11月8日被 3 个词条引用

显存账第二格的来源：要更新一个参数，就得给它算梯度；Adam 一类优化器还要为每个可训练参数额外配动量、方差等同形状缓冲。这一格规模大致等于可训练参数量乘一个不小的倍数。见 参数量、显存。

PPO 课给的另一处用法：标准策略梯度每个数据样本只做一次梯度更新，PPO 换一个目标函数使同一批数据可以多轮小批量更新；前提是别走太远。见 策略梯度。

训练时量化与部署时量化为什么不能互替？课的判据：训练要在同一套权重上算梯度并写回更新，量化误差会被反向传播一路放大；部署只前向，没人往权重里回写。见 QLoRA、AWQ。

互链

链接来自概念卡正文里的双链，编译时能解到本期词条集的才成为站内链接。

反链（3）

出现在哪些课时里（4）

判据与「课时正文里能不能点出来」是同一个：那一节确实提到了它。点课时走当前页跳转， 它是导航，不是词条链接。

关联图

只画这一条与它直接相连的词条，边与上面两区同源。可拖拽、可缩放，点节点是新标签。

以列表方式看这 8 个节点

出处

路径是本地知识库（Obsidian 库）里的位置，正文与概念卡逐字对应。

  • 课程正文用法归纳省内存省的到底是哪一块账packages/db/prisma/lesson-content/qlora-memory-budget.md
  • 课程正文用法归纳RLHF 三步各吃什么数据packages/db/prisma/lesson-content/rlhf-three-stage-pipeline.md
  • 课程正文用法归纳课程派生词条 · 模型与生成式 AI 基础

编译入库：2026年11月2日。词条由知识库编译而来， 修正要回到概念卡改，再重新编译。