反向传播不是 1986 年发明的
建议用时:25 分钟(含练习)
学习目标
能够区分存在性主张与优先权主张,并说明某年发明这种说法把哪四件事压成了一件事。
本节产出
一份这句话有没有一手支撑的判定表
核心知识:一个算法的"出生年"记录的到底是哪件事
流行讲法是"1986 年 Rumelhart、Hinton 和 Williams 发明了反向传播"。这句话里能当天核完的部分是:确有这样一篇论文,Nature 第 323 卷 533–536 页,1986 年 10 月,三人署名,标题就叫"Learning representations by back-propagating errors"。今天用 DOI 反查过,五个字段逐字对上。
不能当天核完的部分是"发明"两个字。那篇论文自己并没有声明发明了这套求导方法,它做的事是把误差沿网络逐层分摊到隐藏单元的权重上,并给出实验。技术史里的"某年发明"通常把四件事压成一件:
| 四件事 | 各自的时间点 | 本课能否当天取证 |
|---|---|---|
| 数学工具成形 | 链式法则,19 世纪 | 能,且不争议 |
| 反向模式写成算法 | 20 世纪 60–70 年代 | 不能,原文未取到 |
| 第一次接到网络上 | 1974 年一篇博士论文 | 只核到书目 |
| 让领域普遍用起来 | 1986 年之后 | 能,有那篇 Nature |
四个格子对应四个年份、四批人。把它们说成"1986 年发明",丢掉的不只是名字,还丢掉了一个判断力:一个方法被写出来,和它被一个领域接受,中间可以隔十几年。这十几年里它不"不存在",它只是没被读到。
两篇权威综述互相打架,这一格要当内容教
Schmidhuber 的《Deep Learning in Neural Networks: An Overview》把反向模式与早期网络训练往前提,涉及 1960–1970 年代的若干工作;LeCun、Bengio 与 Hinton 2015 年那篇 Nature 综述给出的叙述线不同。两篇都真实存在、都权威、都经过同行评议,而它们对同一段历史的排法不一致。
本课不打算替学员选边,因为选边这件事本身就是这门课要检查的动作。要教的是遇到两篇权威打架时的处理:把两边各自引用的原始文献逐条列出来,看哪一条有可打开的一手件、哪一条只是转述;冲突通常不在"发生了什么",而在"哪件事算发明"。
图里刻意不画箭头。这四点之间的关系不是"谁生出了谁",而是"同一件事被四份材料各自记法不同";一旦画成箭头,读图的人就会把它当成一条传承链。
一个可复现的核法
拿到任何一条论文引用,先问 DOI 能不能在公开登记库里解出同名记录:
curl -s 'https://api.crossref.org/works/10.1038/323533a0'
读回来的 title、container-title、issued、volume、page、author 六个字段,与你手上那份材料逐格对。链接能打开不等于核过,标题对上了才叫核过。
这不是抽象警告。本课程的方案稿 v0.1 把 LeCun-Bengio-Hinton 那篇写成了 nature.com/articles/nature24274,并且标了"已核"。2026-10-23 反查这个 DOI,它是一篇神经生物学论文的勘误页,和深度学习毫无关系;那个网址当天返回 303。正确 DOI 是 10.1038/nature14539。"我以为我核过了"是引用事故里最常见的一种,本课把它留在教材里当例子。
案例:三段互斥的叙述,各自能证到哪
| 叙述 | 类型 | 能证的部分 | 不能证的部分 |
|---|---|---|---|
| 甲:反向传播 1986 年由 Rumelhart 等人发明 | 优先权 | 1986 年确有那篇 Nature,卷页作者全对上 | "发明"。反向模式更早的原文本课没拿到正文 |
| 乙:Werbos 1974 年就把这套方法用在神经网络上 | 优先权 | 书目记录存在(哈佛大学博士论文,1974) | 论文正文写到哪一步,本轮未取到可打开的本 |
| 丙:1989 年那篇是第一个把反向传播用于实际任务的卷积网络 | 优先权 | 1989 年那篇论文存在,做的是邮编识别 | "第一个"。要证它得穷举同期工作,本课不做 |
三段的共同点:都能搜到,都有人反复转述,但落点全是排他主张。排他主张的证明代价和存在性主张差一个量级:前者要遍历同期文献并说明检索面,后者只要一条 DOI。写历史叙述时把这两类混在一起,读者就会以为"第一个"和"有这篇"一样好证。
动手练习
- 分类。输入:五句话("Transformer 出自 2017 年一篇论文""Attention 是 2014 年提出的""AlexNet 开创了 GPU 深度学习时代""ResNet 在 2015 年把层数推到 152""反向传播由 Hinton 发明")。任务:各标为存在性 / 优先权 / 因果三类之一,并各写一行"要证成它需要查什么"。预期输出:五行,其中至少两行指出需要遍历同期文献。验收条件:不许用"网上都这么说"当作依据。
- 反查两条引用。给两个 DOI(本课用
10.1038/323533a0与10.1038/nature24274),把六个字段抄进一张表,判断它和"深度学习那篇综述"这个描述是否相配。预期输出:两行;第二行必须发现标题与主题不符,并指出错在哪个字段。验收条件:能说出"链接能打开但内容不对"这一种失效形状。 - 交一张"这句话有没有一手支撑"判定表:左列写你从任何地方读到过的一句 AI 史说法,中列写它属于哪类主张,右列写你实际打开过的一手件(没打开就写"未取到")。验收条件:至少一行右列是"未取到",且没有被写成事实。
参考答案与推演
完成检查
- 能说出"发明年"把哪四件事压成了一件,并给出四个不同的时间点。
- 拿到一条引用会先反查标题再引用,能解释"链接能打开"为什么不等于"核过"。
- 能区分存在性主张与优先权主张,并说出后者的取证代价高在哪一格。
参考与来源
- Rumelhart, Hinton & Williams 1986(Nature 323–536):本节唯一被当作"已核事实"陈述的那篇论文,2026-10-23 由 Crossref 逐字段核过。
- Schmidhuber:Deep Learning in Neural Networks An Overview:与下一条成对阅读,两篇对同一段历史的排法不同。
- LeCun, Bengio & Hinton 2015:Deep learning(Nature 521–444):2026-10-23 由 Crossref 核到作者、卷页与出版日期。
- d2l 中文:4. 多层感知机:现代教材如何处理这套求导,分章号当日回页核过。
- Werbos, Beyond Regression, 哈佛大学博士论文, 1974:书目信息,本轮未取到可打开的正文,因此本节没有引用论文里的任何说法。
反向传播不是 1986 年发明的
3 道题 · 及格分 60 分