对齐（Alignment）
让模型输出更贴合任务与用户偏好的一族后训练目标的统称：LIMA 摘要把第二阶段（指令微调与强化学习）直接写成「用来更好地对齐到任务与用户偏好」；DPO 一家的路线之争都发生在这个方向内。
生产方式：AI 生成AI 生成，仅供参考签发：晓黎学习复核：2026年11月1日被 2 个词条引用
课程素材里「对齐」指的是这一层：预训练教会模型续写文本，第二阶段用来「更好地对齐到任务与用户偏好」（LIMA（Less Is More for Alignment） 摘要原话）。RLHF（人类反馈强化学习） 三道工序、DPO（直接偏好优化） 一家的省法争论，都是这个方向内部的路线取舍：吃什么数据、砍哪道工序、还哪笔债。
与 SFT（监督微调） 的区别记住一句：SFT 是对齐的一种做法，不是对齐本身。
相关
互链
链接来自概念卡正文里的双链，编译时能解到本期词条集的才成为站内链接。
- DPO（直接偏好优化）正文引用
- DPO（直接偏好优化）相关概念
- LIMA（Less Is More for Alignment）正文引用
- RLHF（人类反馈强化学习）正文引用
- RLHF（人类反馈强化学习）相关概念
- SFT（监督微调）正文引用
- SFT（监督微调）相关概念
反链（2）
出现在哪些课时里（10）
判据与「课时正文里能不能点出来」是同一个：那一节确实提到了它。点课时走当前页跳转， 它是导航，不是词条链接。
- 同一条消息，两种写法：Messages API 与 Chat Completions 的字段对照AI API 与国内接入基础
- Checkpoint、压缩与 Session ForkAgent 系统：Harness、MCP、Skill 与 Memory
- 序列为什么难，注意力解决了什么深度学习是怎么来的：机制、竞争与未定论
- 并行的代价：Transformer 的取舍深度学习是怎么来的：机制、竞争与未定论
- 权重公开改变了谁能造模型深度学习是怎么来的：机制、竞争与未定论
- 仍在争议的历史：怎么对一条叙事提问深度学习是怎么来的：机制、竞争与未定论
- 基座只会续写，听话是后来加上的大模型后训练：偏好、权重与测得出退化的评测
- SFT 教的是格式，知识不是它给的大模型后训练：偏好、权重与测得出退化的评测
- DPO 一家省掉了哪一步大模型后训练：偏好、权重与测得出退化的评测
- 不训新能力，也能把能力搬进小模型大模型后训练：偏好、权重与测得出退化的评测
关联图
只画这一条与它直接相连的词条，边与上面两区同源。可拖拽、可缩放，点节点是新标签。
以列表方式看这 6 个节点
出处
路径是本地知识库（Obsidian 库）里的位置，正文与概念卡逐字对应。
- 课程正文用法归纳DPO 一家省掉了哪一步
packages/db/prisma/lesson-content/dpo-family-tradeoffs.md - 课程正文用法归纳基座只会续写，听话是后来加上的
packages/db/prisma/lesson-content/pretrain-only-continues-text.md - 课程正文用法归纳SFT 教的是格式，知识不是它给的
packages/db/prisma/lesson-content/sft-teaches-format-not-facts.md - 课程正文用法归纳课程派生词条 · 模型训练与后训练
编译入库：2026年11月2日。词条由知识库编译而来， 修正要回到概念卡改，再重新编译。