寒冬是三本账同时变差

建议用时:25 分钟(含练习)

学习目标

能够用算力、数据、信用三条账解释研究经费为何撤走,并说清寒冬不等于想法被判错。

本节产出

一张三条账的收支卡

核心知识:寒冬是三本账同时变差,不是一个想法被判错

"AI 寒冬"这个词常被讲成:1969 年一本书证明了神经网络没用,于是研究停了十几年。这句话把两件不同的事混成一件。可当天核完的部分是这本书存在;"它导致停摆"是因果主张,本课把它标为未证。

要解释经费为什么会撤,看三本账,而不是看谁对谁错。

账目问的是哪件事1960 年代末到 1970 年代的形状
算力账同样的规模在当时要跑多久训练一次的成本随层数快速涨,硬件没涨
数据账有没有足够多可标注的样本公开数据集几乎不存在,标注要自己筹
信用账先前的承诺兑现了几次早期演示被转述成"快解决了通用智能"

三本账里只有一本变差,通常只会让某条路线变冷;三本同时变差,资金才会整批撤走。这个框架的用处在于它能解释一件编年表解释不了的事:同期拿到资源的符号推理与专家系统并不是"更正确",它们在当时的算力与数据条件下更便宜、更可交付。规则由人写,就不需要大标注集;推理过程可逐步打印,就更容易向出资方解释。

那本书到底说了什么

《Perceptrons》的可核事实是:1969 年由 MIT Press 出版,作者 Minsky 与 Papert;1987 年出了带新序的扩展版。它证明的是单层感知机的表达极限,也就是上一节课那条直线的故事。它没有证明"多层网络没用",恰恰相反,多层能折出那条线是当时就知道的。

真正的困难在别处:多层网络没有可训练的办法。所以"这本书杀死了神经网络"这种讲法,把一个方法学缺口说成了一个判决。这个简化会误导人,是因为它让学员以为历史是由评论家推动的,而实际卡住这条路的是一个具体的算法问题,1986 年前后才有可广泛使用的解法。

反证:寒冬里也有人在出货

两篇落在所谓寒冬期内的论文,今天都反查到了:

  • Fukushima, Neocognitron,Biological Cybernetics 36–202,1980 年 4 月,DOI 10.1007/BF00344251。本轮还取到了 PDF 并读了首页,标题、卷页、署名(NHK 广播科学研究所)逐字对上。
  • LeCun, Boser, Denker, Henderson, Howard, Hubbard & Jackel,Backpropagation Applied to Handwritten Zip Code Recognition,Neural Computation 1(4)–551,1989 年 12 月,DOI 10.1162/neco.1989.1.4.541。

这两篇能反驳的是"神经网络在 1970–1980 年代没人做"。反驳不了"这段时间它拿不到主流资源"。分清这两句的边界,就是这一节的全部训练目标:一条文献证据只能证到它覆盖的那一格。

一次受挫的结果分岔到算力账、数据账与信用账三条线,三条线汇到同一个判断节点

图里三条分岔是并列的,不是先后的。读图时如果把它读成"先看算力、再看数据",就会以为寒冬有标准流程;实际上三条账的塌法在每个案例里顺序不同。

案例:1974 年的一张收支表(数字为虚构)

假设你是某个实验室的评审,手上只有下面这张表,需要在两条路线里保一条。表中数字是为教学编造的,不代表任何真实机构。

项目路线甲:多层网络路线乙:规则专家系统
训练数据需 5 000 份标注需 3 位专家访谈
一次实验数天机时当天可跑
可解释性权重表,说不清每条规则能打印
失败形状不知道错在哪知道哪条规则没写
交付周期不确定可承诺

按"三条账"读这张表:甲在算力账(机时)、数据账(标注量)上更贵,在信用账上更危险,因为它无法向出资方解释失败原因。乙三本账都便宜。于是在 1974 年,理性的评审会保乙。这不证明乙的方法更正确,只证明它在当时的条件下买得起。

把这张表翻过来的,是三本账同时变化:公开标注数据集出现、GPU 与并行训练把机时账压下来、以及可解释性不再是评审的第一要求。这也是为什么本课要求你判断"今天哪条路会输"时,先写三本账,再写谁对谁错。

动手练习

  1. 给三条账各写一句"当时最差的情况",并各配一个今天可对照的现象。预期输出:三行,每行两个短句。验收条件:不许用"技术不成熟"这类没有账目的说法。
  2. 用文献做反证。任务:说明上面两个 DOI 各自能反驳哪一句话、反驳不了哪一句话。预期输出:两组"能 / 不能"。验收条件:至少一组明确写出证据的覆盖边界。
  3. 交一张"三条账"收支卡:选一条今天你在用的技术路线(例如大模型微调),按算力 / 数据 / 信用三格各写"现在谁在替它付账"和"哪一格先崩"。验收条件:信用账那一格必须写"谁在承诺",不能只写"预期过高"。

参考答案与推演

完成检查

  • 能复述"那本书证明了神经网络没用"这句流行说法错在哪一格:它把单层表达极限说成了整体判决,也把方法学缺口说成了外部杀害。
  • 能用算力 / 数据 / 信用三条账解释一条路线为什么拿不到资源,并且不把它说成"这条路错了"。
  • 拿到一条文献证据时,能立刻说出它覆盖不到的那一格。

参考与来源

寒冬是三本账同时变差

3 道题 · 及格分 60 分

开始测验