注意力机制（Attention）
让每个位置对上下文中的其他位置做加权聚合：Query 用来寻找相关信息、Key 用来被匹配、Value 是被聚合的信息；它决定「如何组合信息」，不决定「哪些材料可见」。
生产方式：AI 生成AI 生成，仅供参考签发：晓黎学习复核：2026年11月1日被 4 个词条引用
在常见的注意力计算中，可以把 Query 理解为当前位置用来寻找相关信息的表示，Key 为候选各位置用于匹配的表示，Value 为被聚合的信息表示；相似度经处理后形成权重，再对各位置的 Value 加权求和。
课程反复强调分工：上下文窗口决定这次计算能装下哪些输入（可见范围），注意力等机制决定如何组合其中信息（关联计算）。材料不在窗口内不能直接依赖；在窗口内也可能因歧义、干扰、顺序或任务复杂而没被用对。
它的来路是 2014 至 2017 年机器翻译的对齐路线，后被 Transformer 收为主力组件。
相关
互链
链接来自概念卡正文里的双链，编译时能解到本期词条集的才成为站内链接。
- 上下文窗口正文引用
- 上下文窗口相关概念
- Token相关概念
- Transformer正文引用
- Transformer相关概念
反链（4）
- 上下文窗口正文引用
- 上下文窗口相关概念
- Transformer正文引用
- Transformer相关概念
出现在哪些课时里（2）
判据与「课时正文里能不能点出来」是同一个：那一节确实提到了它。点课时走当前页跳转， 它是导航，不是词条链接。
- Attention 与上下文窗口AI 基础：模型、产品与第一次成果
- 反向传播不是 1986 年发明的深度学习是怎么来的：机制、竞争与未定论
关联图
只画这一条与它直接相连的词条，边与上面两区同源。可拖拽、可缩放，点节点是新标签。
以列表方式看这 4 个节点
出处
路径是本地知识库（Obsidian 库）里的位置，正文与概念卡逐字对应。
- 课程正文用法归纳Attention 与上下文窗口
packages/db/prisma/lesson-content/attention-and-context-window.md - 课程正文用法归纳序列为什么难，注意力解决了什么
packages/db/prisma/lesson-content/sequence-and-attention.md - 课程正文用法归纳并行的代价：Transformer 的取舍
packages/db/prisma/lesson-content/transformer-tradeoff.md - 课程正文用法归纳课程派生词条 · 模型与生成式 AI 基础
编译入库：2026年11月2日。词条由知识库编译而来， 修正要回到概念卡改，再重新编译。