世界模型功能三分法(渲染器 / 仿真器 / 规划器)
按『输出环里的哪一块』而非按领域口号来切分世界模型:渲染器输出像素、仿真器输出状态、规划器输出行动;三者是同一份世界理解的三个投影,边界正在塌陷。
世界模型功能三分法
一句话定义
别看一个系统自称在做什么"世界模型",看它往 POMDP 环里吐出哪一块:吐像素的是渲染器,吐状态的是仿真器,吐行动的是规划器。
这个框架的价值不在分类本身,而在它把争论从"哪个领域才是真世界模型"换成一个可检查的问题——输出物是什么,判据就只能是那个输出物的判据。
底图:环,不是列表
分类的地基是强化学习教材用了几十年的那张 agent–world 图(正式名称 POMDP)。agent 行动 → 行动改变世界状态 → agent 看不见状态、只收到观察(光子、传感器读数、像素)→ 新观察影响新行动。
这里的"状态"是物理学家/机器人学家的用法:某一刻一切发生之事的完整描述,原则上完备却没有任何环内 agent 能直接看见。"世界模型"一词的技术含义就来自这个传统(Craik 1943 提出心智靠运行现实的"小规模模型"推理,八九十年代进入神经网络)。
由此得到三分法的推理路径:所谓"世界模型"之争之所以吵不清,是因为各家输出的其实是环里不同的零件。
三类的判据
| 渲染器 Renderer | 仿真器 Simulator | 规划器 Planner | |
|---|---|---|---|
| 输出 | observation(给人眼看的像素) | state(几何/物理/动力学上忠实的表示) | action(给定观察与目标,下一步做什么) |
| 成败判据 | 视觉保真度 | 结构性:几何经得起检视、物理服从定律、动力学按世界应有的方式表现 | 在开放、未结构化环境中能否可靠行动 |
| 有无显式三维 | 无 | 有,且是交付物本身 | 不需要显式表示,但要正确预测行动后果 |
| 面向的消费者 | 人眼 | 人(建筑师/设计师/影视/游戏)与程序(RL agent、机器人控制器、自动驾驶训练场) | 具身 agent |
| 现实例子 | 文生视频、Genie 3、RTFM | 物理引擎、数字孪生、Marble 的碰撞网格 | VLA、model-based 系统、World Action Models |
| 成熟度 | 商业最成熟 | 关注最少、后果最重 | 最诱人、最不成熟 |
一个便于记忆的对称关系:规划器是渲染器的逆变换。渲染器吃 action 吐 observation,规划器吃 observation 吐 action,两者接上就闭合了感知—行动环。
三条拿来就能用的判据
- "航拍看建筑完美,开车穿城就散架" —— 视觉合理而结构不成立,是渲染器的特征指纹。凡只能看、不能进去交互的,无论画面多好都在渲染器格子里,别按仿真的可信度去信它。
- 演示场景的约束宽度 —— 判断规划器的成色,看物体集多窄、任务时长多短、环境多受控。作者的坦率结论是:近两年机器人演示几乎全部困在重度受限的实验室设置里,没有一例在真实部署所要求的复杂度、变化性和持续性上验证过。
- 数据从哪来 —— 带显式几何、材质属性、物理标注的三维数据比网络视频稀缺数个量级。一个自称仿真器的系统如果只靠网络视频训练,它的物理承诺就是借来的。
该框架自己的说法:仿真器是枢纽
三类中仿真器公众关注最少、却是作者认定的最有分量一环。论证链条是:语言是世界的抽象,像素是世界的投影,而几何、物理、动力学是世界本身;仿真器必须工作在这一层,因为它是渲染器的外观与规划器的行动后果共同的结构骨架。掌握仿真的模型可以向下投影成像素供人看、投影成行动预测供具身 agent 用;只掌握渲染或只掌握规划的模型两样都做不到。
⚠️ 这是立场而不是共识,且与提出者的商业位置直接相关(World Labs 的 Marble 正是仿真路线)。它同时给出了自己的代价清单:sim-to-real 差始终存在;生成式仿真新增"AI 生成的几何看着对却自相交或尺度错误、从而产出荒谬物理"的风险;刚体、可变形体、流体、布料同时交互的多物理场仿真仍比单域贵几个量级。
三类不是根本分离的
最容易在这一框架上读丢的半句是:三类之下是同一份对世界的理解。真正理解一只杯子如何放在桌上(几何、材质、受力响应)的模型,理应既能任意角度渲染它、又能模拟推它会怎样、还能规划手去拿它——三类是单一底层理解的三个投影。
已被观察到的塌陷路径:预训练视频渲染器可作为"世界与行动联合预测"的骨干(渲染器 ↔ 规划器);Marble 一个模型同时输出高斯泼溅与碰撞网格(渲染器 ↔ 仿真器);每一层都在从被动输出转向交互系统。逻辑终点是统一世界模型——按下游需要切换输出模态的单一基础模型。
今日的定义性开放问题就是在一种架构里同时调和:数据分布的极端不均,以及"为视觉美感优化会牺牲机器人与高保真仿真所需精度"。
怎么用这个概念
- 竞品/赛道扫描:把每个自称世界模型的产品填进三格,立刻能看出谁在渲染器格子却按仿真器定价、谁的规划器演示经不起判据 2。
- 写自己的产品叙述:主张哪一格就要付哪一格的证据——像素级证据、结构级证据、行动可靠性证据,三者互不通用。
- 别把它当本体论:作者明说这三分"描述了如今真正在出货的大多数东西",是描述出货格局的功能切分,不是世界的根本结构。
局限与待观察
- 单源,且是厂商宣言文,未获得第三方分类框架交叉验证 → 置信度按 Schema 规则封顶
medium。 - "渲染器 / 仿真器 / 规划器"与中文转述里常用的"渲染 / 模拟 / 规划"三种能力口径混用,中文圈标题多写作《世界模型的三分法》或"李飞飞三分法",转述普遍丢掉"边界正在塌陷"的后半段论证。
- 与库内 Agent认知闭环(Agent Cognitive Loop) 的关系尚未在任何一处被权威对齐:那张是 agent 侧的感知→认知→行动→环境切分(含记忆与学习),本篇是 世界侧的 state/observation/action 投影切分。图源相近但轴不同,混用会导致把"认知层"错当成"仿真器"。
相关概念
- Agent认知闭环(Agent Cognitive Loop) — agent 侧闭环元模型,注意轴差
- Eval Harness(评估框架) — 三类的证据互不通用,正是评估装置要分别设计的原因
- 李飞飞-Agent-AI综述 — 同一作者更早的综述(Agent 侧)
- 世界模型的功能三分法(World Labs 原文摘要) — 本篇的源摘要页(含原文全部论证与市场数字)
来源
- 世界模型的功能三分法(World Labs 原文摘要) ← 原始材料
00_INBOX/worldlabs.ai/taxonomy-of-world-models/(World Labs 博客,2026-06-03,已完整抓取,含 2 段演示视频)
互链
链接来自概念卡正文里的双链,编译时能解到本期词条集的才成为站内链接。
反链(2)
出现在哪些课时里(0)
判据与「课时正文里能不能点出来」是同一个:那一节确实提到了它。点课时走当前页跳转, 它是导航,不是词条链接。
还没有课时讲到这一条。它是词条跑在课程前面的那一部分,不是错链。
关联图
只画这一条与它直接相连的词条,边与上面两区同源。可拖拽、可缩放,点节点是新标签。
出处
路径是本地知识库(Obsidian 库)里的位置,正文与概念卡逐字对应。
- 概念卡原文世界模型功能三分法(渲染器 / 仿真器 / 规划器)
03_RESOURCES/概念/world-model-functional-taxonomy.md - 所属知识地图栏目概念页索引 · 世界模型与空间智能
03_RESOURCES/概念/Index.md - 该卡声明的来源世界模型的功能三分法(World Labs 原文摘要)
03_RESOURCES/摘录/world-labs-2026-taxonomy-of-world-models.md - 正文引用的知识库笔记李飞飞-Agent-AI综述
03_RESOURCES/摘录/feifei-li-agent-ai-survey.md
编译入库:2026年11月2日。词条由知识库编译而来, 修正要回到概念卡改,再重新编译。