子词（Subword）
比整词更小的切分单元。课里点名的常见切分方法是 Byte-Pair Encoding；子词单元来自神经机器翻译中处理罕见词的原始研究。
生产方式：AI 生成AI 生成，仅供参考签发：晓黎学习复核：2026年11月8日被 1 个词条引用
分词观察任务的预期：短中文、短英文、一个网址和一小段 JSON 的切分边界可能出乎预期，因为常见切分是子词级别的（例如 Byte-Pair Encoding），而不是「一个词一个格」。子词单元见于神经机器翻译中处理罕见词的原始研究；课里只锚到这一条来处，不展开方法细节。见 Tokenizer（分词器）、Token。
课程纪律：报告切分观察必须写清使用的分词器与输入文本，换分词器计数就可能变，不能把一个工具的结果宣称为所有模型通用。见 自回归。
互链
链接来自概念卡正文里的双链，编译时能解到本期词条集的才成为站内链接。
- 自回归正文引用
- Token正文引用
- Tokenizer（分词器）正文引用
反链（1）
- Tokenizer（分词器）正文引用
出现在哪些课时里（1）
判据与「课时正文里能不能点出来」是同一个：那一节确实提到了它。点课时走当前页跳转， 它是导航，不是词条链接。
- Token 与下一个 Token 预测AI 基础：模型、产品与第一次成果
关联图
只画这一条与它直接相连的词条，边与上面两区同源。可拖拽、可缩放，点节点是新标签。
以列表方式看这 4 个节点
出处
路径是本地知识库（Obsidian 库）里的位置，正文与概念卡逐字对应。
- 课程正文用法归纳Token 与下一个 Token 预测
packages/db/prisma/lesson-content/token-and-next-token.md - 课程正文用法归纳课程派生词条 · 模型与生成式 AI 基础
编译入库：2026年11月2日。词条由知识库编译而来， 修正要回到概念卡改，再重新编译。