规模改变了什么：缩放曲线怎么读

建议用时：25 分钟（含练习）

学习目标

能够区分规模让旧方法变强与规模带来全新能力，并对涌现说提出证据层面的提问。

本节产出

一段这条曲线能说明什么、不能说明什么的读数

核心知识：缩放曲线量的是损失，不是能力

"把模型做大，能力就自己冒出来。"这句流行叙事里能当天核完的部分很少，而且很少的那部分量的还是损失，不是能力。这一节交付的不是"缩放律对不对"，而是一段能照着说出口的判断：这条曲线能说明什么、不能说明什么。

缩放律拟合的到底是哪件事

2020 年那篇《Scaling Laws for Neural Language Models》做的事很朴素：训练一批规模不同的模型，把它们的损失分别对参数量、数据量、算力作图，发现跨几个数量级近似落在一条直线上（坐标取了对数之后）。近似直线就意味着幂律关系。这是它能证到的那一格。

2022 年那篇被叫做 Chinchilla 的论文教的第二课是推翻的方式：同一个缩放问题里，"给定算力预算时参数与数据怎么配比"这一格可以被后来者改写。前一篇把参数放得过重，后一篇报告参数量与训练数据量应大致同比例增长。分歧不在要不要按规模规划，而在最优点落在哪一格。

一句判据先记住：从"损失下降"跳到"能力上线"，中间缺了一格。那一格只能由具体评测补上，而具体评测恰恰最容易被指标选法影响。

读一张曲线图的四个动作

拿到任何一张"越大越好"的图，按这四步走，缺一步就先写"读不出"。

对数刻度会把外推区间在视觉上压得很短，让人看不出"这段根本没测过"，所以划区间要用实测点横坐标的最大值来定。

关键的一格：涌现是不是质变

本课对乙不站边。 判据是：涌现一旦被写成"某能力在某规模突然出现"，它就是一个带不连续性的测量主张，必须回答"这个不连续是量出来的，还是被指标定义制造出来的"。有一类分析主张跳变主要来自指标的不连续（离散评分、及格线、样例格式），而不是能力质变。这一类分析本课未取证，白名单里没有那一手件，所以这里只列成"要去查的清单"。谁要断言涌现成立或不成立，就得自己交出一条可打开的一手件，并说明它覆盖哪一格。

厂商宣传为什么不算证据

能力清单、演示视频、新闻稿里的"首次做到"都不是可复现测量：没有固定协议、没有失败样本、没有重复次数。它们能证明的只有"这家公司在某天这样宣称过"。可引用的形状只有两种：论文里的评测表（能定位到协议与数据集），或自己按同一协议复跑的记录。

图中回到认坐标那条虚线，是这一节唯一允许的反向动作，触发条件只有一句：结论写到了实测点覆盖不到的地方。跳过前三步直接写"越大越聪明"，就是把外推区间当成了测量结果。

案例：一次虚构的读数记录（数字为教学编造）

下表为教学编造，不对应任何真实模型或测量。某虚构实验室给出五个规模的同族模型，横轴是训练算力（对数刻度），纵轴是验证损失，每档各跑 3 次。

算力档	实测损失均值	三次散布	某虚构任务的离散准确率
10^19	3.40	±0.02	41%
10^20	2.85	±0.03	48%
10^21	2.42	±0.02	52%
10^22	2.10	±0.04	79%
10^23	未测	拟合外推	未测

四条结论逐个判。

"损失随算力近似按幂律下降"：能下，实测散布小，趋势在拟合区间内一致。

"能力在 10^21 与 10^22 之间跃变"：暂时不能下。只有两个实测点夹着它，而 52% 到 79% 完全可能来自离散评分（虚构任务按子串匹配计分，多答一个片段就从 0 变满分）。要补三件：同一测试集上的连续量记录、换样例顺序后的重复、把及格线挪一档后跳变是否还在。

"10^23 会解锁新能力"与"该为下一个数量级花钱"：都不能下。前者落在外推区间，外推只能支持"损失大概继续下降"；后者不在图的覆盖里，曲线量的是损失，预算要算的是数据可得与硬件可负担。

四条里三条被拦在证据层，拦它们的是同一句判据：图上到底有没有这一格。

动手练习

1. 读数边界。输入："把参数量翻十倍，损失下降约 0.3；因此这个模型会在多步推理任务上超过人类。"把它拆成趋势部分与推论部分，各标注能证到哪一格。预期输出：两行加一句缺口说明。验收条件：不许用"论文就是这么说的"当作缺口已补。
2. 列证成与证伪。从第二、第三两个判断里挑一个，写出证成还需要哪些测量、证伪需要看到什么。预期输出：各三到五条，至少一条落在指标定义上。验收条件：不许写"多找几篇报道"，报道不在证据形状里。
3. 交一段"这条曲线能说明什么、不能说明什么"（150 到 250 字），含横轴、拟合区间边界、误差棒解释，以及一句你拒绝写进去的结论与理由。验收条件：拒绝写的那句必须是你本来想写的，不能挑一句荒谬的当靶子。

参考答案与推演

展开

完成检查

• 能说出缩放律拟合的是损失与哪三个量之间的关系，并说清它给的是趋势不是能力清单。
• 拿到曲线图能按四步走完，并指出外推区间从哪个横坐标开始。
• 面对"涌现"能各写出三条证成条件与三条证伪条件，且不宣称哪一方赢了。
• 能说出厂商能力清单唯一能证的那一格。

参考与来源

• Scaling Laws for Neural Language Models（arXiv，2020-01-23）：2026-10-23 由 arXiv 核到；只把它当作"损失对规模拟合出幂律"这一格的一手件。
• Training Compute-Optimal Large Language Models（Chinchilla，arXiv，2022-03-29）：2026-10-23 核到；用来说明配比那一格可以被后来者改写。
• Language Models are Few-Shot Learners（GPT-3，arXiv，2020-05-28）：2026-10-23 核到；只用于证明"少样本能力被作为论文主张正式提出"，不用它证明涌现。
• Attention Is All You Need（arXiv，2017-06-12）：2026-10-23 核到；用来对照"架构改变"与"规模改变"是两条不同的线。
• d2l 中文：14. 自然语言处理：预训练：2026-10-23 回页核到标题；用来看教材里"起点"指的是哪一步。