Transformer
2017 年论文 Attention Is All You Need 提出的架构:用自注意力把同一条序列内部的时间维并行掉,换来可训练的规模,代价落在注意力的平方开销、位置信息与仍然串行的推理上。
生产方式:AI 生成AI 生成,仅供参考签发:晓黎学习复核:2026年11月1日被 4 个词条引用
互链
链接来自概念卡正文里的双链,编译时能解到本期词条集的才成为站内链接。
- 大模型(LLM)正文引用
- 上下文窗口相关概念
- 注意力机制(Attention)正文引用
- 注意力机制(Attention)相关概念
- Token正文引用
- Token相关概念
反链(4)
- 大模型(LLM)相关概念
- 注意力机制(Attention)正文引用
- 注意力机制(Attention)相关概念
- LoRA正文引用
出现在哪些课时里(7)
判据与「课时正文里能不能点出来」是同一个:那一节确实提到了它。点课时走当前页跳转, 它是导航,不是词条链接。
- Attention 与上下文窗口AI 基础:模型、产品与第一次成果
- 反向传播不是 1986 年发明的深度学习是怎么来的:机制、竞争与未定论
- 序列为什么难,注意力解决了什么深度学习是怎么来的:机制、竞争与未定论
- 并行的代价:Transformer 的取舍深度学习是怎么来的:机制、竞争与未定论
- 仍在争议的历史:怎么对一条叙事提问深度学习是怎么来的:机制、竞争与未定论
- 省内存省的到底是哪一块账大模型后训练:偏好、权重与测得出退化的评测
- 四种失败形状,各指向哪一步大模型后训练:偏好、权重与测得出退化的评测
关联图
只画这一条与它直接相连的词条,边与上面两区同源。可拖拽、可缩放,点节点是新标签。
以列表方式看这 6 个节点
出处
路径是本地知识库(Obsidian 库)里的位置,正文与概念卡逐字对应。
- 课程正文用法归纳并行的代价:Transformer 的取舍
packages/db/prisma/lesson-content/transformer-tradeoff.md - 课程正文用法归纳序列为什么难,注意力解决了什么
packages/db/prisma/lesson-content/sequence-and-attention.md - 课程正文用法归纳Attention 与上下文窗口
packages/db/prisma/lesson-content/attention-and-context-window.md - 课程正文用法归纳课程派生词条 · 模型与生成式 AI 基础
编译入库:2026年11月2日。词条由知识库编译而来, 修正要回到概念卡改,再重新编译。