Token
模型处理文本的基本单位：Tokenizer 先把文字切成一串编号，模型对「下一个 Token」算候选分布再解码选取；计费、限流与上下文长度都按 Token 计，它不等于「字」。
生产方式：AI 生成AI 生成，仅供参考签发：晓黎学习复核：2026年11月1日被 11 个词条引用
你输入「请把这段话写得更清楚」，界面显示的是汉字，模型内部处理的却是一串编码：Tokenizer（分词器）先把文本切成 Token 并映射成编号；对自回归文本生成而言，基本过程是根据目前可见的上下文计算下一个 Token 的候选分布，按解码策略选一个、追加回上下文、继续生成。
工程上 Token 是账本单位：服务可能按请求数与 Token 数分别计量计费，上下文窗口 的长度也用 Token 度量。课程还提醒三条账不要混：传输的字节块、流式协议里的事件与 Token 并非一一对应。
相关
互链
链接来自概念卡正文里的双链，编译时能解到本期词条集的才成为站内链接。
- 大模型（LLM）相关概念
- 上下文窗口正文引用
- 上下文窗口相关概念
- SSE 流式输出原理相关概念
反链（11）
- 大模型（LLM）正文引用
- 大模型（LLM）相关概念
- 上下文窗口正文引用
- 上下文窗口相关概念
- 限流（Rate Limiting）正文引用
- 注意力机制（Attention）相关概念
- 子词（Subword）正文引用
- 自回归正文引用
- Tokenizer（分词器）正文引用
- Transformer正文引用
- Transformer相关概念
出现在哪些课时里（3）
判据与「课时正文里能不能点出来」是同一个：那一节确实提到了它。点课时走当前页跳转， 它是导航，不是词条链接。
- Token 与下一个 Token 预测AI 基础：模型、产品与第一次成果
- API Key、请求头、JSON 与流式返回AI API 与国内接入基础
- 成本、限流、密钥轮换与中转风险AI API 与国内接入基础
关联图
只画这一条与它直接相连的词条，边与上面两区同源。可拖拽、可缩放，点节点是新标签。
以列表方式看这 10 个节点
出处
路径是本地知识库（Obsidian 库）里的位置，正文与概念卡逐字对应。
- 课程正文用法归纳Token 与下一个 Token 预测
packages/db/prisma/lesson-content/token-and-next-token.md - 课程正文用法归纳API Key、请求头、JSON 与流式返回
packages/db/prisma/lesson-content/api-key-headers-body-streaming.md - 课程正文用法归纳成本、限流、密钥轮换与中转风险
packages/db/prisma/lesson-content/cost-security-checklist.md - 课程正文用法归纳课程派生词条 · 模型与生成式 AI 基础
编译入库：2026年11月2日。词条由知识库编译而来， 修正要回到概念卡改，再重新编译。