从手写体到 ImageNet：卷积赢在哪一格

建议用时：25 分钟（含练习）

学习目标

能够说明卷积在图像上省掉了什么，并指出两代网络之间真正的差别落在哪一格。

本节产出

一张它赢在哪一格的定位卡

核心知识：卷积省下来的不是精度，是"每个位置各学一套权重"这笔账

图像一旦进了全连接层，参数就按相乘的方式长。看懂这一笔账，1989 年那一格到 2012 年那一格之间就不用"想法突然变好"来解释。

先把账算出来

一张 28×28 的灰度手写数字图，就是 784 个像素值。把它接一层 800 个神经元的全连接，权重量是 784 乘 800，等于 627,200 个待学参数。换成 1000×1000 的照片（一百万个输入）再连 1000 个神经元，就是十亿这一量级。

难处不在"数字大"，在两件事：

• 它随输入相乘增长。像素翻十倍，参数翻十倍；神经元翻十倍，再翻一次。
• 要学的参数多，钉住它们的样本就得跟着多，否则学出来的是一片没被数据约束过的自由格子。

全连接还带一项隐性成本：它把"第几行第几列"当成独立坐标，同一种竖边出现在左上角和中间，是两个互不相干的输入维度，必须各学一遍。于是做识别之前，人要替机器先把"什么算一条边""什么算一个圈"从像素里挑出来再喂进去。这就是人工特征工程，它贵不在于难写，而在于它由人写，换一类图像就得重写。

卷积用两条约束把这笔钱压掉

d2l 中文第 6 章 6.1 节的标题就叫"从全连接层到卷积"，讲的是两条约束：

一个 5×5 的核，从 1 个输入通道映到 6 个输出通道，参数是 6 × (5 × 5 × 1 + 1) = 156 个（含偏置）。同样输入尺寸的全连接层要 627,200 个。相差约四千倍，而且输入越大这个倍数越拉越开：像素数怎么变，156 一动不动。

省掉的到底是什么，分两张小表说：

最后这行最要紧。局部性与平移复用是写进结构里的假设：图像任务里合算，因为同一种纹理在图里哪都可能出现；换一个位置本身携带含义的输入，这两条假设就开始咬人。所以准确说法是，卷积拿一部分表达力，换参数量与"不必由人写特征"这两件事。省下的不是精度。

1989 年那一格已经有三样东西

• Fukushima 1980 的新认知机（Biological Cybernetics 36–202）：分层、局部感受野、同层共享权重。本课 2026-10-23 核到 DOI，并读过原文首页。
• LeCun 等七位作者 1989 年那篇邮编识别（Neural Computation 1 卷 4 期 541–551 页）：把这套结构接到反向传播与一件真实业务上，卷页当日由 Crossref 核到。

架构想法、训练算法、落地任务，这三件在 1989 年同一篇里就同时看到了。于是"卷积结构是 2012 年提出的"这一句被两枚一手件直接反驳。这里的推理只有一步：存在一枚更早的，就足以推翻"最早"。

2012 年那一格换的是条件，不是想法

2012 年那篇 ImageNet 分类论文的官方记录页，本课 2026-10-23 读到标题、三位作者与会议年份；页面之外的数字本轮没有逐字回原文取证。所以下面这张表只能按条件写，每格都标取证状态：

表里四行的取证强度并不一样，这个差别就是本节要教的。"2012 年发明了卷积"是可以被一枚更早文献否证的排他主张；"这是第一次用 GPU 训练网络"本课手上既没有支持也没有反驳它的材料，只能标未取证。把这两句都糊过去，学员就分不出哪句能进结论。

图里五格是同一笔账的两种算法：像素进来，先遇到全连接相乘的代价，再被局部连接与权共享压下去，最后落到"省的是参数与人工特征依赖"。别把第二格读成"第一代做法"。

案例：两个设置的参数量对照（数字为教学编造）

虚构任务：把 32×32 的灰度符号图分成 20 类。表中数字全部是教学编造的算术结果与假设值，不是真实实验的测量。

设置	第一层参数量（可验算）	假设需要的标注样本	假设的一次训练机时
甲：全连接，宽 512	1024 乘 512 = 524,288	20,000 张	14 小时
乙：卷积，3×3 核 16 通道	16 × (9 + 1) = 160	4,000 张	3 小时

倍数约 3,300。值得记住的是形状：甲的数随图像尺寸往上涨，乙的数只跟核与通道有关，尺寸一大，差距就自己拉开。

定位卡示例，学员要自己复做一张：

格	它赢在哪	本课取到什么
结构	局部连接加权共享，不是新想法	1980、1989 两枚一手件已核
数据	量级跳了一档以上	只核到论文存在，张数未取证
算力	一整层的账搬上 GPU 摊开算	"第一次用 GPU"未取证
工程条件	训练与正则做法进这一格	未逐字引原文

动手练习

1. 算参数量级。给定一张 100×100 的三通道图，两个设置：甲为全连接接 1000 个神经元，乙为卷积、3×3 核、8 个输出通道。任务：各算出第一层权重量与含偏置的参数量，再算倍数。预期输出：五个数。验收条件：漏了偏置必须写明漏了什么。
2. 三句史说法分类。"卷积结构是 2012 年提出的""2012 年这篇是第一个用 GPU 训练的网络""1989 年那篇已经把反向传播用在手写识别上"。任务：各标为存在性或优先权主张，并写一行"本课哪枚证据能动它"。验收条件：必须有一行写"动不了，未取证"，不许用"一般都这么说"当依据。
3. 交一张"它赢在哪一格"定位卡：结构、数据、算力、工程条件四格，每格两行：它赢在哪，本课取到什么与没取到什么。验收条件：至少一格明确是"未取证"，并且没有被写成事实。

参考答案与推演

展开

完成检查

• 能用一句不出现"卷积"这个词的话说清它省了什么：一层要学的数字不再等于位置数乘神经元数。
• 能指出省掉的不是精度，并说出它拿什么换的：局部性与平移复用这两条先验。
• 能把 1989 与 2012 两格的差别讲成数据量级、硬件与训练条件三件事，而不是"想法换了"。
• 遇到"第一次""发明了"这类句子，能判断它需要哪类证据，以及本课有没有。

参考与来源

• d2l 中文：6. 卷积神经网络：6.1 从全连接层到卷积 … 6.6 卷积神经网络（LeNet）；分节号当日逐页回原文核过。
• d2l 中文：7. 现代卷积神经网络：2026-10-23 核到页面标题，本节未引用章内数字。
• Fukushima 1980：Neocognitron（Biological Cybernetics 36–202）：2026-10-23 核到 DOI 并读过原文首页。
• LeCun 等 1989：手写邮编识别（Neural Computation 1(4)–551）：2026-10-23 由 Crossref 核到七位作者与卷页。
• 2012 年 ImageNet 分类论文的 NeurIPS 官方记录页：2026-10-23 在该页读到标题、三位作者与会议年份；页面之外的事实未取证。