Tokenizer（分词器）

把文本转换成 Token 序列并映射为词表编号的组件。一个 Token 可能对应一个字、词的一部分、标点或空格，具体取决于分词器，不与汉字数固定对应。

生产方式：AI 生成AI 生成，仅供参考签发：晓黎学习复核：2026年11月8日被 1 个词条引用

模型看到的不是一页纸：文本先被 Tokenizer 转换成 Token，再映射为词表中的编号。一个 Token 可能对应一个字、一个词的一部分、标点、空格或其他片段。不要把 Token 直接等同于汉字数，也不要把「英文一个单词大约多少 Token」当成所有语言和模型的固定公式。见 Token、子词。

观察切分要报告使用的分词器和输入文本：网址、标点和语言都会影响边界，换一个分词器，计数可能变化。一个工具的结果不能被宣称为所有模型通用。切完之后进入生成环，见 自回归。

互链

链接来自概念卡正文里的双链，编译时能解到本期词条集的才成为站内链接。

反链（1）

出现在哪些课时里（1）

判据与「课时正文里能不能点出来」是同一个：那一节确实提到了它。点课时走当前页跳转， 它是导航，不是词条链接。

关联图

只画这一条与它直接相连的词条，边与上面两区同源。可拖拽、可缩放，点节点是新标签。

以列表方式看这 4 个节点

出处

路径是本地知识库（Obsidian 库）里的位置，正文与概念卡逐字对应。

  • 课程正文用法归纳Token 与下一个 Token 预测packages/db/prisma/lesson-content/token-and-next-token.md
  • 课程正文用法归纳课程派生词条 · 模型与生成式 AI 基础

编译入库：2026年11月2日。词条由知识库编译而来， 修正要回到概念卡改，再重新编译。