返回
构建模拟物理现实的 AI
April 2, 2026
8 分钟阅读
分享这篇文章

构建模拟物理现实的 AI

DeepMind、World Labs 和 AMI Labs 如何押注世界模型——这种 AI 预测物理结果,而非预测句子中的下一个 token。

摘要

语言模型预测词语。世界模型预测现实中接下来会发生什么。正是这一架构差异,促使AI研究领域最具声望的学者们聚焦于世界模型,将其视为下一个不可或缺的能力层。2026年,三家机构正在引领这一构建浪潮:Google DeepMind 发布了基于视频扩散的实时交互式世界模型;Fei-Fei Li 的 World Labs 将 Marble(一款可导航3D环境模拟器)推向商业化;Yann LeCun 的 AMI Labs 完成了10.3亿美元的种子轮融资——欧洲史上规模最大——用于构建基于JEPA架构、从第一性原理学习物理理解的AI。

世界模型究竟做什么

语言模型通过训练来预测序列中的下一个词元。给定一段文本,它估计下一个词、短语或字符最可能是什么——并由此学会推理语言、概念和规律。

世界模型在结构上做的是截然不同的事情。给定物理环境的当前状态,它预测接下来会发生什么:物体在受力下如何运动,从不同视角看一个空间是什么样子,某个特定动作会带来什么后果。训练数据不是文本,而是视频、传感器读数和仿真数据。

目标是让AI能够在行动之前先进行模拟。与其用语言描述一个计划并期望描述准确,具备世界模型的AI可以在内部模拟计划的执行结果,识别哪里会出错,并在现实世界中执行任何操作之前完成修正。

三家机构正以截然不同的方式构建这一能力。

Google DeepMind:将视频转化为交互式仿真

2025年8月,DeepMind 发布了一款实时交互式世界模型,能够将视频转换为可交互的仿真环境。输入可以是任意视频——房间、室外环境或游戏世界的画面。输出是该视频的可交互版本:用户可以在其中移动、执行操作,模型实时生成符合物理规律的下一帧画面。

DeepMind 的方法完全避开了手工编写的物理规则。模型通过在海量视频数据集上训练来学习物理动态——实际上是通过观察世界来推断其运作方式。仿真结果遵循重力、遮挡、物体恒存性以及物理空间的基本结构,而无需任何显式编码这些属性的规则。

当前应用场景:

  • 机器人训练环境:从参考素材生成无限的新颖场景,而非收集新的物理数据
  • 游戏开发:从参考素材生成可交互的原型环境
  • AI智能体接地:在真实执行前于仿真中测试计划

更长远的意涵: DeepMind 的世界模型是自主智能体的基础——它们能够在行动前推理后果,而不是先行动后观察结果。

World Labs:Marble,可导航的3D世界

Fei-Fei Li——斯坦福大学以人为本AI研究院联合院长、前 Google Cloud AI 负责人——创立了 World Labs,致力于将大规模世界建模推向商业化。该公司2026年推出的产品是 Marble:一款从零生成实时可导航3D环境的生成模型。

DeepMind 将现有视频转化为交互式仿真,而 Marble 则能从描述或草图生成全新的3D世界。这些环境可从任意角度探索,并保持一致的空间几何结构和物理特性——由 Marble 生成的场景在穿越过程中维持结构连贯性,这是此前生成系统无法可靠实现的。

Marble 的应用场景:

应用场景赋能内容
机器人训练无需物理数据采集,生成无限多样的训练环境
游戏与XR原型设计无需3D美术师即可完成世界布局和环境原型设计
建筑与设计从平面图或描述生成可步行的建筑仿真
科学研究为过于危险或成本过高的实验构建物理环境

World Labs 瞄准的商业机会在于3D内容的高昂成本:目前以数百万美元和数月制作周期来衡量。Marble 级别的生成能力可将其压缩至以小时计。

AMI Labs:押注JEPA的10.3亿美元赌注

Advanced Machine Intelligence Labs(AMI Labs)由 Yann LeCun(Meta 首席AI科学家)联合创立,从欧洲技术投资者财团完成了10.3亿美元种子轮融资——欧洲史上规模最大的种子轮。

AMI Labs 既不在构建更大的语言模型,也不在打造更好的视频扩散系统。它正在基于 LeCun 的联合嵌入预测架构(JEPA)构建AI,其工作原理与当前世界模型存在根本差异。

JEPA 不预测原始像素或文本词元,而是训练AI预测抽象表征——场景的有意义结构,而非其字面外观。LeCun 的论点是:人类的常识并非通过记忆对世界的观察而建立,而是通过在概念层面学习因果关系、物理动态和物体行为的抽象模型。JEPA 试图复现这一学习过程。

实际差异在于:基于JEPA的系统应能更有效地泛化到全新的物理情境,因为它们并非试图重建每一个像素——而是在对生成这些像素的概念结构进行建模。

AMI Labs 的核心论断,用 LeCun 的话来说:扩展语言模型无法产生通用AI。缺失的关键在于一个从第一性原理理解物理的世界模型,而非从文本或视频的统计规律中获取理解。

三种方法的比较

Google DeepMindWorld Labs(Marble)AMI Labs(JEPA)
核心方法视频扩散——通过观察学习物理规律生成式3D环境合成抽象表征预测
训练数据视频素材多模态环境数据未公开;概念性训练
输出形式基于参考视频的交互式仿真从描述生成全新3D世界用于推理的抽象世界模型
阶段已发布(2025年8月)已商业化(2026年)研究/早期构建
预期用途机器人训练、智能体接地机器人、游戏开发、建筑、XR长期通用AI基础

为何实验室以外的人也应关注

世界模型是下一代AI产品的基础设施,而非近期的消费者应用。但2026年和2027年正在构建的产品,将越来越依赖于那些目前正在建立的世界建模能力:

机器人的规模化: 每家构建物理AI的公司——仓储自动化、制造业、配送——都需要在多样化场景中训练机器人。世界模型无需物理数据采集成本,即可生成无限多样的训练环境。DeepMind 和 World Labs 正在构建整个机器人行业都将使用的训练环境生成层。

具备物理接地的AI智能体: 当前的AI智能体,包括能力最强的语言模型系统,都会对物理约束产生幻觉,因为它们仅凭文本描述推理物理世界。具备世界模型的AI可以在执行计划之前,先模拟该计划在物理上是否可行。

3D内容创作: Marble 级别的系统将把3D内容制作的时间线和成本压缩数个量级——对游戏开发、影视制作、建筑设计和沉浸式媒体均具有直接影响。

常见问题

AI中的世界模型是什么? 世界模型是一种AI系统,能够构建物理现实的内部仿真——编码物体的行为方式、因果关系的运作机制,以及给定动作后接下来会发生什么。与预测下一个文本词元的语言模型不同,世界模型预测物理环境的下一个状态。它们被视为机器人技术、自动驾驶汽车和物理AI智能体的基础。

Yann LeCun 在 AMI Labs 构建什么? AMI Labs 由 LeCun 联合创立,以10.3亿美元种子轮融资(欧洲创业史上规模最大),正在开发基于JEPA(联合嵌入预测架构)的AI。JEPA 预测抽象表征而非原始像素或词元,旨在赋予AI人类通过经验(而非观察)积累的那种物理常识。LeCun 认为JEPA是AI真正能够推理物理世界所必需的架构。

World Labs 的 Marble 产品是什么? Marble 是 World Labs(由 Fei-Fei Li 创立)的大型世界模型,能够从描述或草图实时生成可导航的3D仿真环境。与将现有视频转化为仿真的系统不同,Marble 创造具有一致物理特性和空间几何结构的全新3D环境。应用场景包括机器人训练环境、游戏及AR/VR原型设计,以及建筑可视化。

Google DeepMind 的世界模型如何运作? DeepMind 的世界模型于2025年8月发布,接受视频输入并将其转化为交互式仿真。用户可以在仿真环境中导航和操作,模型实时生成符合物理规律的下一帧画面。该模型并非手工编写物理规则,而是通过在大规模视频数据集上训练来学习物理动态——通过观察世界来推断其行为方式。

来源

  • Google DeepMind — 实时交互式世界模型发布,2025年8月
  • World Labs — Marble 产品发布及技术文档,2026年
  • AMI Labs — 10.3亿美元种子轮融资公告及JEPA架构概览,2026年
  • Yann LeCun — JEPA研究论文及公开演讲,Meta AI,2025–2026年
发布于 April 2, 2026
更多文章