InstructGPT
2022 年论文「Training language models to follow instructions with human feedback」，RLHF 三道工序的经典出处：示范做 SFT、排序训奖励模型、强化学习最大化估计奖励。
生产方式：AI 生成AI 生成，仅供参考签发：晓黎学习复核：2026年11月1日被 3 个词条引用
InstructGPT（2022 年 3 月提交）把「让模型听指令」写成一条可核对的工程管线：SFT（监督微调）、成对排序训奖励模型、强化学习更新策略，也就是 RLHF（人类反馈强化学习） 的三步。
在本课里它是锚点：LIMA（Less Is More for Alignment） 摘要里的两阶段描述、DPO（直接偏好优化） 摘要对「复杂且常常不稳定」的批评，都发生在这条管线被确立之后。课程引用它时只核摘要页与官方记录，未取正文的数字一律不写。
相关
互链
链接来自概念卡正文里的双链，编译时能解到本期词条集的才成为站内链接。
- 对齐（Alignment）相关概念
- 奖励模型（Reward Model）正文引用
- DPO（直接偏好优化）正文引用
- LIMA（Less Is More for Alignment）正文引用
- PPO（近端策略优化）正文引用
- RLHF（人类反馈强化学习）正文引用
- RLHF（人类反馈强化学习）相关概念
- SFT（监督微调）正文引用
- SFT（监督微调）相关概念
反链（3）
出现在哪些课时里（2）
判据与「课时正文里能不能点出来」是同一个：那一节确实提到了它。点课时走当前页跳转， 它是导航，不是词条链接。
- 基座只会续写，听话是后来加上的大模型后训练：偏好、权重与测得出退化的评测
- RLHF 三步各吃什么数据大模型后训练：偏好、权重与测得出退化的评测
关联图
只画这一条与它直接相连的词条，边与上面两区同源。可拖拽、可缩放，点节点是新标签。
出处
路径是本地知识库（Obsidian 库）里的位置，正文与概念卡逐字对应。
- 课程正文用法归纳基座只会续写，听话是后来加上的
packages/db/prisma/lesson-content/pretrain-only-continues-text.md - 课程正文用法归纳RLHF 三步各吃什么数据
packages/db/prisma/lesson-content/rlhf-three-stage-pipeline.md - 课程正文用法归纳四种失败形状，各指向哪一步
packages/db/prisma/lesson-content/eval-and-failure-triage.md - 课程正文用法归纳课程派生词条 · 模型训练与后训练
编译入库：2026年11月2日。词条由知识库编译而来， 修正要回到概念卡改，再重新编译。