寒冬是三本账同时变差
建议用时:25 分钟(含练习)
学习目标
能够用算力、数据、信用三条账解释研究经费为何撤走,并说清寒冬不等于想法被判错。
本节产出
一张三条账的收支卡
核心知识:寒冬是三本账同时变差,不是一个想法被判错
"AI 寒冬"这个词常被讲成:1969 年一本书证明了神经网络没用,于是研究停了十几年。这句话把两件不同的事混成一件。可当天核完的部分是这本书存在;"它导致停摆"是因果主张,本课把它标为未证。
要解释经费为什么会撤,看三本账,而不是看谁对谁错。
| 账目 | 问的是哪件事 | 1960 年代末到 1970 年代的形状 |
|---|---|---|
| 算力账 | 同样的规模在当时要跑多久 | 训练一次的成本随层数快速涨,硬件没涨 |
| 数据账 | 有没有足够多可标注的样本 | 公开数据集几乎不存在,标注要自己筹 |
| 信用账 | 先前的承诺兑现了几次 | 早期演示被转述成"快解决了通用智能" |
三本账里只有一本变差,通常只会让某条路线变冷;三本同时变差,资金才会整批撤走。这个框架的用处在于它能解释一件编年表解释不了的事:同期拿到资源的符号推理与专家系统并不是"更正确",它们在当时的算力与数据条件下更便宜、更可交付。规则由人写,就不需要大标注集;推理过程可逐步打印,就更容易向出资方解释。
那本书到底说了什么
《Perceptrons》的可核事实是:1969 年由 MIT Press 出版,作者 Minsky 与 Papert;1987 年出了带新序的扩展版。它证明的是单层感知机的表达极限,也就是上一节课那条直线的故事。它没有证明"多层网络没用",恰恰相反,多层能折出那条线是当时就知道的。
真正的困难在别处:多层网络没有可训练的办法。所以"这本书杀死了神经网络"这种讲法,把一个方法学缺口说成了一个判决。这个简化会误导人,是因为它让学员以为历史是由评论家推动的,而实际卡住这条路的是一个具体的算法问题,1986 年前后才有可广泛使用的解法。
反证:寒冬里也有人在出货
两篇落在所谓寒冬期内的论文,今天都反查到了:
- Fukushima, Neocognitron,Biological Cybernetics 36–202,1980 年 4 月,DOI
10.1007/BF00344251。本轮还取到了 PDF 并读了首页,标题、卷页、署名(NHK 广播科学研究所)逐字对上。 - LeCun, Boser, Denker, Henderson, Howard, Hubbard & Jackel,Backpropagation Applied to Handwritten Zip Code Recognition,Neural Computation 1(4)–551,1989 年 12 月,DOI
10.1162/neco.1989.1.4.541。
这两篇能反驳的是"神经网络在 1970–1980 年代没人做"。反驳不了"这段时间它拿不到主流资源"。分清这两句的边界,就是这一节的全部训练目标:一条文献证据只能证到它覆盖的那一格。
图里三条分岔是并列的,不是先后的。读图时如果把它读成"先看算力、再看数据",就会以为寒冬有标准流程;实际上三条账的塌法在每个案例里顺序不同。
案例:1974 年的一张收支表(数字为虚构)
假设你是某个实验室的评审,手上只有下面这张表,需要在两条路线里保一条。表中数字是为教学编造的,不代表任何真实机构。
| 项目 | 路线甲:多层网络 | 路线乙:规则专家系统 |
|---|---|---|
| 训练数据 | 需 5 000 份标注 | 需 3 位专家访谈 |
| 一次实验 | 数天机时 | 当天可跑 |
| 可解释性 | 权重表,说不清 | 每条规则能打印 |
| 失败形状 | 不知道错在哪 | 知道哪条规则没写 |
| 交付周期 | 不确定 | 可承诺 |
按"三条账"读这张表:甲在算力账(机时)、数据账(标注量)上更贵,在信用账上更危险,因为它无法向出资方解释失败原因。乙三本账都便宜。于是在 1974 年,理性的评审会保乙。这不证明乙的方法更正确,只证明它在当时的条件下买得起。
把这张表翻过来的,是三本账同时变化:公开标注数据集出现、GPU 与并行训练把机时账压下来、以及可解释性不再是评审的第一要求。这也是为什么本课要求你判断"今天哪条路会输"时,先写三本账,再写谁对谁错。
动手练习
- 给三条账各写一句"当时最差的情况",并各配一个今天可对照的现象。预期输出:三行,每行两个短句。验收条件:不许用"技术不成熟"这类没有账目的说法。
- 用文献做反证。任务:说明上面两个 DOI 各自能反驳哪一句话、反驳不了哪一句话。预期输出:两组"能 / 不能"。验收条件:至少一组明确写出证据的覆盖边界。
- 交一张"三条账"收支卡:选一条今天你在用的技术路线(例如大模型微调),按算力 / 数据 / 信用三格各写"现在谁在替它付账"和"哪一格先崩"。验收条件:信用账那一格必须写"谁在承诺",不能只写"预期过高"。
参考答案与推演
完成检查
- 能复述"那本书证明了神经网络没用"这句流行说法错在哪一格:它把单层表达极限说成了整体判决,也把方法学缺口说成了外部杀害。
- 能用算力 / 数据 / 信用三条账解释一条路线为什么拿不到资源,并且不把它说成"这条路错了"。
- 拿到一条文献证据时,能立刻说出它覆盖不到的那一格。
参考与来源
- Fukushima 1980:Neocognitron(Biological Cybernetics 36–202):2026-10-23 由 Crossref 核到标题、期刊、卷页与月份,并读过原文首页。
- LeCun 等 1989:Backpropagation Applied to Handwritten Zip Code Recognition:2026-10-23 由 Crossref 核到七位作者与卷页(1 卷 4 期 541–551 页)。
- d2l 中文:6. 卷积神经网络:从全连接层到卷积那一节,说明卷积到底省掉了什么;分章号当日回页核过。
寒冬是三本账同时变差
3 道题 · 及格分 60 分