预训练
第一阶段的大规模文本训练：目标只有「给定前面这串字符，给下一个词打分」。环里没有任何一步判断「这是一次请求」，指令跟随是后面加上去的一层。
生产方式：AI 生成AI 生成，仅供参考签发：晓黎学习复核：2026年11月8日被 4 个词条引用
这一轮里只有一件事：上文进去，模型输出一个分布；挑一个词拼回上文末尾；再进下一轮，直到停止标记或长度上限。要紧处在于环里没有一步在做「这是什么类型」的判断，语料里四类文本混在同一个流里，损失函数对它们用同一个公式。见 自回归、损失函数。
InstructGPT 摘要钉住的判断：模型变大本身并不会让它更擅长跟随用户意图。LIMA 课的两阶段描述里，第一阶段从原始文本做无监督预训练学通用表示，第二阶段指令微调与强化学习用来对齐任务与偏好；知识几乎全在这一阶段学到，是带限定的推断。见 后训练、InstructGPT、LIMA（Less Is More for Alignment）。
权重公开时，替你付过预训练这笔开销的正是这一阶段。见 基座、微调（Fine-tuning）。
互链
链接来自概念卡正文里的双链，编译时能解到本期词条集的才成为站内链接。
- 后训练（Post-training）正文引用
- 基座正文引用
- 损失函数（Loss Function）正文引用
- 微调（Fine-tuning）正文引用
- 自回归正文引用
- InstructGPT正文引用
- LIMA（Less Is More for Alignment）正文引用
反链（4）
- 低秩矩阵正文引用
- 后训练（Post-training）正文引用
- 基座正文引用
- 损失函数（Loss Function）正文引用
出现在哪些课时里（5）
判据与「课时正文里能不能点出来」是同一个：那一节确实提到了它。点课时走当前页跳转， 它是导航，不是词条链接。
- 权重公开改变了谁能造模型深度学习是怎么来的：机制、竞争与未定论
- 仍在争议的历史：怎么对一条叙事提问深度学习是怎么来的：机制、竞争与未定论
- 基座只会续写，听话是后来加上的大模型后训练：偏好、权重与测得出退化的评测
- SFT 教的是格式，知识不是它给的大模型后训练：偏好、权重与测得出退化的评测
- 省内存省的到底是哪一块账大模型后训练：偏好、权重与测得出退化的评测
关联图
只画这一条与它直接相连的词条，边与上面两区同源。可拖拽、可缩放，点节点是新标签。
出处
路径是本地知识库（Obsidian 库）里的位置，正文与概念卡逐字对应。
- 课程正文用法归纳基座只会续写，听话是后来加上的
packages/db/prisma/lesson-content/pretrain-only-continues-text.md - 课程正文用法归纳SFT 教的是格式，知识不是它给的
packages/db/prisma/lesson-content/sft-teaches-format-not-facts.md - 课程正文用法归纳权重公开改变了谁能造模型
packages/db/prisma/lesson-content/open-weights-changed-who.md - 课程正文用法归纳课程派生词条 · 模型与生成式 AI 基础
编译入库：2026年11月2日。词条由知识库编译而来， 修正要回到概念卡改，再重新编译。