LIMA（Less Is More for Alignment）

2023 年论文：把大模型训练描述成两阶段（无监督预训练学通用表示，指令微调与强化学习用于对齐任务与用户偏好），实验把第二阶段的数据规模大幅压低，为「能力主要来自预训练」提供反方向支持。

生产方式：AI 生成AI 生成，仅供参考签发：晓黎学习复核：2026年11月1日被 4 个词条引用

LIMA（2023 年 5 月提交）从反方向给了一次独立支持。它的摘要把大模型训练描述成两个阶段：第一阶段从原始文本做无监督预训练，学通用表示；第二阶段做大规模的指令微调与强化学习，用来更好地对齐到任务与用户偏好。它的实验做法是把第二阶段的数据规模大幅压下去。

课程用它钉两件事：能力主要进在预训练，对齐阶段改的主要是表达的样子；以及一条少样本主张只能核到「摘要说了」这一层，不能顺手放大成定律。详见课时「SFT 教的是格式，知识不是它给的」里「把 LIMA 的摘要拆成三层」一节。

相关

SFT（监督微调）对齐（Alignment） InstructGPT

互链

链接来自概念卡正文里的双链，编译时能解到本期词条集的才成为站内链接。

对齐（Alignment）相关概念
InstructGPT相关概念
SFT（监督微调）相关概念

反链（4）

大模型（LLM）正文引用
对齐（Alignment）正文引用
预训练正文引用
InstructGPT正文引用

出现在哪些课时里（2）

判据与「课时正文里能不能点出来」是同一个：那一节确实提到了它。点课时走当前页跳转，它是导航，不是词条链接。

基座只会续写，听话是后来加上的大模型后训练：偏好、权重与测得出退化的评测
SFT 教的是格式，知识不是它给的大模型后训练：偏好、权重与测得出退化的评测

关联图

只画这一条与它直接相连的词条，边与上面两区同源。可拖拽、可缩放，点节点是新标签。

以列表方式看这 6 个节点

出处

路径是本地知识库（Obsidian 库）里的位置，正文与概念卡逐字对应。

课程正文用法归纳基座只会续写，听话是后来加上的packages/db/prisma/lesson-content/pretrain-only-continues-text.md
课程正文用法归纳SFT 教的是格式，知识不是它给的packages/db/prisma/lesson-content/sft-teaches-format-not-facts.md
课程正文用法归纳课程派生词条 · 模型训练与后训练

编译入库：2026年11月2日。词条由知识库编译而来，修正要回到概念卡改，再重新编译。