一句话版本
今天的大模型主要从文字里学"什么词通常跟在什么词后面"。这让它很会描述世界，却不一定理解世界如何运转：推一个杯子它会不会倒、换一个条件结果会怎样。 本文的构想是：在后训练阶段，让 LLM 在一个三维乃至更高维的世界模型里行动，训练信号不再是"人类觉得这个回答好不好"，而是"你预测的下一个世界状态对不对"以及"你的干预是否得到了预期的结果"。这把训练目标从相关性推向因果性。
定位
这是一个尚未被完整实现的研究构想。文中会区分三类内容：已有证据（已发表、可复现）、合理推测（由现有结果推出）、待验证假设（需要实验）。
第一层：通俗理解
1.1 读了一万本游泳书的人
一个人读遍了所有关于游泳的书，能把动作要领讲得头头是道。但把他扔进水里，他未必会游。
大模型有点像这个人：它从海量文本中学到了世界的描述。问题在于：
- 文本里的规律大多是相关："下雨"和"带伞"经常一起出现；
- 但"如果我把伞收起来，雨会不会停"这种问题，需要因果知识；
- 文本对物理世界的描述是稀疏、有偏的：没人会写"杯子放在桌子边缘 0.3 厘米处，被手肘碰了一下以后会怎样"。
1.2 构想：给模型一个"游泳池"
让模型进入一个可交互的模拟世界：
- 模型观察当前状态（物体的位置、速度、属性）；
- 模型提出一个动作，并预测动作之后世界会变成什么样；
- 世界模型（或物理模拟器）给出真实的下一个状态；
- 预测和真实的差距，就是训练信号。
这样，模型学的不再是"人们怎么说"，而是"世界怎么变"。
1.3 为什么是"三维以上"
| 维度 | 含义 |
|---|---|
| 三维空间 | 物体的位置、遮挡、碰撞、重力 |
| + 时间 | 动态、因果的先后、延迟效应 |
| + 物体属性 | 质量、摩擦、弹性等隐藏变量 |
| + 抽象状态 | 其他智能体的信念和意图、经济系统的状态、程序的运行状态 |
"高维"不只是空间维度，而是世界状态的全部自由度。
第二层：已有证据
2.1 世界模型已经很强
| 工作 | 内容 |
|---|---|
| Dreamer 系列（Hafner 等，DreamerV3 2023 年发布、2025 年发表于 Nature） | 在潜空间里学习环境的世界模型，在"想象"中训练策略；同一套超参数解决大量不同任务，包括从零在《我的世界》里挖到钻石 |
| MuZero（DeepMind，2019–2020） | 不知道游戏规则，自己学一个预测模型，在围棋、国际象棋、雅达利游戏中达到顶尖水平 |
| JEPA / V-JEPA 2（LeCun 团队，2023–2025） | 不预测像素，而是在表征空间里预测被遮挡部分；V-JEPA 2 在视频上预训练后可以用于机器人规划 |
| Genie 2 / Genie 3（DeepMind，2024–2025） | 从一张图片或一段文字生成可交互的三维环境，可以实时操控 |
| Cosmos（NVIDIA，2025） | 面向机器人和自动驾驶的"世界基础模型"平台，用于生成物理合理的合成训练数据 |
2.2 LLM 的因果推理确实有缺陷
- CLadder（2023）等基准按 Pearl 的因果阶梯测试 LLM，发现模型在干预和反事实问题上的表现明显差于关联问题，而且容易被措辞变化干扰；
- 大量研究显示，LLM 在直觉物理（物体会不会掉、液体会怎么流）问题上的表现很不稳定。
2.3 Pearl 的因果阶梯
| 层级 | 问题 | 需要什么 |
|---|---|---|
| 1. 关联 | 看到 X，Y 的概率是多少？ | 观察数据（文本足够） |
| 2. 干预 | 做了 X，Y 会怎样？ | 能做实验，或者知道因果结构 |
| 3. 反事实 | 如果当初没做 X，Y 会怎样？ | 完整的因果模型 |
Pearl 的核心论点是：仅凭第 1 层的数据，原则上无法回答第 2、3 层的问题（除非有额外的结构假设）。纯文本预训练主要停留在第 1 层；而在世界模型中行动，天然就是第 2 层。
第三层：构想的具体形态
3.1 训练循环（合理推测）
奖励由两部分组成：
- 预测准确度：模型对下一状态的预测和真实状态的差距（在表征空间里度量，而不是逐像素）；
- 目标达成：按指定目标行动是否成功。
前者逼模型学"世界怎么运转"，后者逼它学"怎么利用这些知识"。
3.2 和现有 RLHF 的对比
| RLHF | 世界模型后训练 | |
|---|---|---|
| 奖励来源 | 人类或奖励模型的偏好 | 世界的真实反应 |
| 学到的 | 什么样的回答讨人喜欢 | 什么样的行动产生什么后果 |
| 奖励投机风险 | 高（讨好、迎合） | 较低（物理不会被讨好），但模拟器的漏洞仍可能被利用 |
| 数据成本 | 人工标注昂贵 | 模拟器可以无限生成 |
3.3 为什么不直接训练一个世界模型就好
因为语言提供了抽象和组合的能力：一个只懂像素的世界模型不擅长"如果把这三个箱子按重量排序"这类抽象推理。构想的关键是让语言模型和世界模型互相约束：语言提供抽象，世界提供落地（这也回应了 中文屋与符号接地 一类的哲学质疑）。
3.4 待验证的假设
- 在模拟世界中获得的因果知识，能否迁移到纯文本的因果推理任务上？
- 模拟器的偏差（简化的物理、缺失的现象）会不会让模型学到错误的"物理"？
- 多少维度、多真实的世界才够？是否存在"足够抽象、足够便宜"的世界（比如简化的二维物理加符号状态）就能带来大部分收益？
- 这种训练会不会损害模型原有的语言能力？
3.5 一个可行的起步实验
- 环境：一个开源的物理模拟器（如 MuJoCo、简化的积木世界）；
- 接口：用结构化文本描述状态，模型输出动作和对下一状态的预测；
- 对照组：同样规模的模型只用文本做监督微调；
- 评测：CLadder 类因果基准、直觉物理问答、未见过的新物理场景。
总结
| 层次 | 要点 |
|---|---|
| 问题 | 文本预训练主要学到相关性，干预和反事实推理薄弱 |
| 构想 | 在高维世界模型中行动，以"预测下一状态"和"干预成功"为奖励 |
| 依据 | Pearl 因果阶梯；Dreamer、MuZero、JEPA、Genie 等世界模型的成功 |
| 待验证 | 迁移性、模拟器偏差、所需的世界复杂度、对语言能力的影响 |