自回归
「据可见上下文计算下一项分布、选一个、追加、继续」的生成环。已生成的内容会影响后面的内容:早期理解错任务,后面能沿错误方向写出一篇连贯文章。
生产方式:AI 生成AI 生成,仅供参考签发:晓黎学习复核:2026年11月8日被 5 个词条引用
对自回归文本生成而言,一个基本过程是:根据目前可见的上下文,计算下一个 Token 的候选分布,按解码策略选择一个,再把它接到已有序列后面,继续计算。这里的「预测」不是预知未来,而是条件概率计算。见 Token、采样。
反馈箭头的工程含义:长输出不能只在最后检查格式,在关键选择点先确认结构、数据和约束,比写完再全部推翻更省时间。这一层生成机制本身不含「这是一次请求」的判断,指令跟随要靠后续阶段补。见 温度(Temperature)、后训练。
互链
链接来自概念卡正文里的双链,编译时能解到本期词条集的才成为站内链接。
- 采样(Sampling)正文引用
- 后训练(Post-training)正文引用
- 温度(Temperature)正文引用
- Token正文引用
反链(5)
- 采样(Sampling)正文引用
- 温度(Temperature)正文引用
- 预训练正文引用
- 子词(Subword)正文引用
- Tokenizer(分词器)正文引用
出现在哪些课时里(1)
判据与「课时正文里能不能点出来」是同一个:那一节确实提到了它。点课时走当前页跳转, 它是导航,不是词条链接。
- Token 与下一个 Token 预测AI 基础:模型、产品与第一次成果
关联图
只画这一条与它直接相连的词条,边与上面两区同源。可拖拽、可缩放,点节点是新标签。
以列表方式看这 8 个节点
出处
路径是本地知识库(Obsidian 库)里的位置,正文与概念卡逐字对应。
- 课程正文用法归纳Token 与下一个 Token 预测
packages/db/prisma/lesson-content/token-and-next-token.md - 课程正文用法归纳基座只会续写,听话是后来加上的
packages/db/prisma/lesson-content/pretrain-only-continues-text.md - 课程正文用法归纳课程派生词条 · 模型与生成式 AI 基础
编译入库:2026年11月2日。词条由知识库编译而来, 修正要回到概念卡改,再重新编译。