물리적 현실을 시뮬레이션하는 AI 만들기
DeepMind, World Labs, AMI Labs가 걸고 있는 월드 모델(world model)이란 무엇인가 — 문장의 다음 토큰이 아니라 물리적 결과를 예측하는 AI.
Summary
언어 모델은 단어를 예측합니다. 세계 모델은 현실에서 다음에 일어날 일을 예측합니다. 이러한 아키텍처의 차이가 바로 AI 연구 분야에서 가장 저명한 인물들이 세계 모델을 다음 필수 역량 계층으로 삼는 데 의견을 모은 이유입니다. 2026년, 세 조직이 이 구축을 주도하고 있습니다. Google DeepMind는 비디오 확산(diffusion) 기반의 실시간 상호작용 세계 모델을 공개했고, Fei-Fei Li의 World Labs는 탐색 가능한 3D 환경 시뮬레이터인 Marble을 상용화했으며, Yann LeCun의 AMI Labs는 유럽 사상 최대 규모인 10억 3천만 달러 규모의 시드 라운드를 마감하여 물리적 이해를 원리부터 학습하는 JEPA 기반 AI를 구축하고 있습니다.
What a World Model Actually Does
언어 모델은 시퀀스에서 다음 토큰을 예측하도록 훈련됩니다. 텍스트 구절이 주어지면 다음에 어떤 단어, 구, 또는 문자가 올지 추정하며, 이를 통해 언어, 개념, 패턴에 대해 추론하는 법을 학습합니다.
세계 모델은 구조적으로 다른 작업을 수행합니다. 물리적 환경의 현재 상태가 주어지면, 다음에 무슨 일이 일어날지 예측합니다. 물체가 힘을 받았을 때 어떻게 움직이는지, 다른 시점에서 공간이 어떻게 보이는지, 특정 행동의 결과가 무엇인지 등을 예측합니다. 훈련 데이터는 텍스트가 아니라 비디오, 센서 데이터, 그리고 시뮬레이션입니다.
목표는 행동하기 전에 시뮬레이션할 수 있는 AI입니다. 계획을 말로 설명하고 그 설명이 정확하기를 바라는 대신, 세계 모델을 갖춘 AI는 계획의 결과를 내부적으로 시뮬레이션하고, 무엇이 실패할지 파악하며, 실제 세계에서 무언가를 실행하기 전에 수정할 수 있습니다.
세 조직은 이 역량을 의미 있게 서로 다른 방식으로 구축하고 있습니다.
Google DeepMind: Video into Interactive Simulation
2025년 8월, DeepMind는 비디오를 재생 가능한 시뮬레이션으로 변환하는 실시간 상호작용 세계 모델을 공개했습니다. 입력은 방의 영상, 야외 환경, 게임 세계 등 어떤 비디오든 가능합니다. 출력은 해당 비디오의 상호작용 버전으로, 사용자는 그 안을 이동하고 행동을 취할 수 있으며 모델은 물리적으로 타당한 다음 프레임을 실시간으로 생성합니다.
DeepMind의 접근 방식은 수작업으로 만든 물리 법칙을 전혀 사용하지 않습니다. 모델은 방대한 비디오 데이터셋 훈련을 통해 물리적 역학을 학습하며, 이는 사실상 세계가 어떻게 작동하는지를 관찰을 통해 추론하는 것입니다. 이 시뮬레이션은 중력, 가림 현상(occlusion), 물체 영속성, 물리적 공간의 기본 구조를 이러한 속성을 명시적으로 인코딩한 규칙 없이도 준수합니다.
Current applications:
- 로보틱스 훈련 환경: 새로운 물리적 데이터를 수집하는 대신 참조 영상으로부터 무한한 새로운 시나리오를 생성
- 게임 개발: 참조 자료로부터 상호작용 가능한 프로토타입 환경 생성
- AI 에이전트 그라운딩: 실제 실행 전에 계획을 시뮬레이션에서 테스트
Longer-term implication: DeepMind의 세계 모델은 행동하고 결과를 관찰하는 대신, 행동하기 전에 결과를 추론할 수 있는 자율 에이전트의 기반이 됩니다.
World Labs: Marble, the Navigable 3D World
스탠퍼드 인간중심 AI연구소(Human-Centered AI Institute) 공동 소장이자 전 Google Cloud AI 총괄이었던 Fei-Fei Li는 대규모 세계 모델링을 상용화하기 위해 World Labs를 설립했습니다. 이 회사의 2026년 제품 출시작은 Marble로, 실시간으로 탐색 가능한 3D 환경을 처음부터 생성하는 생성 모델입니다.
DeepMind가 기존 비디오를 상호작용 시뮬레이션으로 변환하는 반면, Marble은 설명이나 대략적인 스케치로부터 완전히 새로운 3D 세계를 생성합니다. 이러한 환경은 일관된 공간 기하학과 물리 법칙을 유지하며 어떤 각도에서도 탐색할 수 있습니다. Marble이 생성한 장면은 그 안을 이동해도 구조적 일관성을 유지하는데, 이는 이전의 생성 시스템들이 안정적으로 달성하지 못했던 것입니다.
Where Marble is being used:
| Application | What it enables |
|---|---|
| 로보틱스 훈련 | 물리적 데이터 수집 없이 무한히 다양한 훈련 환경 |
| 게임 및 XR 프로토타이핑 | 3D 아티스트 없이 세계 레이아웃과 환경을 프로토타이핑 |
| 건축 및 설계 | 평면도나 설명으로부터 걸어다닐 수 있는 건물 시뮬레이션 |
| 과학 연구 | 실제로 실행하기에는 너무 위험하거나 비용이 많이 드는 실험을 위한 물리적 환경 |
World Labs가 목표로 하는 상업적 기회는 3D 콘텐츠의 비용입니다. 현재는 수백만 달러와 수개월의 제작 시간이 소요되는 것으로 측정됩니다. Marble 방식의 생성은 이를 몇 시간으로 압축합니다.
AMI Labs: The $1.03 Billion Bet on JEPA
Yann LeCun(Meta 수석 AI 과학자)이 공동 설립한 Advanced Machine Intelligence Labs는 유럽 기술 투자자 컨소시엄으로부터 유럽 시드 라운드 사상 최대 규모인 10억 3천만 달러 규모의 시드 라운드를 마감했습니다.
AMI Labs는 더 큰 언어 모델이나 더 나은 비디오 확산 시스템을 구축하고 있는 것이 아닙니다. 현재의 세계 모델과는 근본적으로 다른 원리로 작동하는 LeCun의 결합 임베딩 예측 아키텍처(Joint Embedding Predictive Architecture, JEPA)를 기반으로 한 AI를 구축하고 있습니다.
원시 픽셀이나 텍스트 토큰을 예측하는 대신, JEPA는 AI가 추상적 표현(abstract representations), 즉 장면의 표면적 모습이 아니라 의미 있는 구조를 예측하도록 훈련합니다. LeCun의 주장은 다음과 같습니다. 인간의 상식은 세계에 대한 관찰을 암기하는 것으로 만들어지지 않습니다. 그것은 개념적 수준에서 인과관계, 물리적 역학, 물체 행동에 대한 추상적 모델을 학습하는 것으로 만들어집니다. JEPA는 그 학습 과정을 재현하려고 시도합니다.
실질적인 차이점은 다음과 같습니다. JEPA 기반 시스템은 모든 픽셀을 재구성하려 하는 대신 그 픽셀을 생성하는 개념적 구조를 모델링하기 때문에, 비디오 확산 모델보다 새로운 물리적 상황에 더 효과적으로 일반화할 수 있어야 합니다.
AMI Labs의 논지는, LeCun의 표현을 빌리자면 다음과 같습니다. 언어 모델을 스케일업하는 것만으로는 범용 AI를 만들어낼 수 없습니다. 부족한 요소는 텍스트나 비디오의 통계적 패턴이 아니라 원리로부터 물리학을 이해하는 세계 모델입니다.
Comparing the Three Approaches
| Google DeepMind | World Labs (Marble) | AMI Labs (JEPA) | |
|---|---|---|---|
| Core approach | 비디오 확산 — 관찰을 통해 물리학을 학습 | 생성형 3D 환경 합성 | 추상적 표현 예측 |
| Training data | 비디오 영상 | 다중모달 환경 데이터 | 미공개; 개념적 훈련 |
| Output | 참조 비디오로부터 상호작용 시뮬레이션 | 설명으로부터 새로운 3D 세계 | 추론을 위한 추상적 세계 모델 |
| Stage | 공개됨 (2025년 8월) | 상용화됨 (2026년) | 연구 / 초기 구축 단계 |
| Intended use | 로보틱스 훈련, 에이전트 그라운딩 | 로보틱스, 게임 개발, 건축, XR | 장기적인 범용 AI 기반 |
Why This Matters Outside the Lab
세계 모델은 단기적인 소비자 애플리케이션이 아니라 차세대 AI 제품을 위한 인프라입니다. 하지만 2026년과 2027년에 만들어질 제품들은 지금 구축되고 있는 세계 모델링 역량에 점점 더 의존하게 될 것입니다.
로보틱스 대규모 도입: 창고 자동화, 제조, 배송 등 물리적 AI를 구축하는 모든 기업은 다양한 시나리오에서 로봇을 훈련시켜야 합니다. 세계 모델은 물리적 데이터 수집 비용 없이 무한히 다양한 훈련 환경을 생성합니다. DeepMind와 World Labs는 전체 로보틱스 산업이 사용하게 될 훈련 환경 생성 계층을 구축하고 있습니다.
물리적 근거를 갖춘 AI 에이전트: 가장 유능한 언어 모델 기반 시스템을 포함한 현재의 AI 에이전트들은 텍스트 설명만으로 물리적 세계에 대해 추론하기 때문에 물리적 제약에 대해 환각(hallucinate)을 일으킵니다. 세계 모델을 갖춘 AI는 계획을 실행에 옮기기 전에 그것이 물리적으로 작동하는지 시뮬레이션할 수 있습니다.
3D 콘텐츠 제작: Marble급 시스템은 3D 콘텐츠 제작 일정과 비용을 몇 자릿수나 압축할 것이며, 이는 게임 개발, 영화 제작, 건축, 몰입형 미디어에 직접적인 영향을 미칠 것입니다.
Frequently Asked Questions
AI에서 세계 모델이란 무엇인가요? 세계 모델은 물리적 현실에 대한 내부 시뮬레이션을 구축하는 AI 시스템으로, 물체가 어떻게 움직이는지, 인과관계가 어떻게 작동하는지, 특정 행동 후에 무슨 일이 일어나는지를 인코딩합니다. 다음 텍스트 토큰을 예측하는 언어 모델과 달리, 세계 모델은 물리적 환경의 다음 상태를 예측합니다. 이는 로보틱스, 자율주행차, 물리적 AI 에이전트에 있어 기초적인 것으로 여겨집니다.
Yann LeCun은 AMI Labs에서 무엇을 만들고 있나요? LeCun이 공동 설립하고 10억 3천만 달러 규모의 시드 라운드(유럽 스타트업 역사상 최대 규모)로 자금을 조달받은 AMI Labs는 결합 임베딩 예측 아키텍처(JEPA)를 기반으로 한 AI를 개발하고 있습니다. JEPA는 원시 픽셀이나 토큰이 아닌 추상적 표현을 예측하며, 관찰이 아닌 경험을 통해 인간이 발전시키는 것과 같은 종류의 물리적 상식을 AI에게 부여하는 것을 목표로 합니다. LeCun은 JEPA가 물리적 세계에 대해 진정으로 추론할 수 있는 AI에게 필요한 아키텍처라고 주장합니다.
World Labs의 Marble 제품은 무엇인가요? Marble은 Fei-Fei Li가 설립한 World Labs의 대규모 세계 모델로, 설명이나 스케치로부터 실시간으로 탐색 가능한 3D 시뮬레이션을 생성합니다. 기존 비디오를 시뮬레이션으로 변환하는 시스템과 달리, Marble은 일관된 물리 법칙과 공간 기하학을 갖춘 새로운 3D 환경을 만들어냅니다. 응용 분야로는 로보틱스 훈련 환경, 게임 및 AR/VR 프로토타이핑, 건축 시각화가 있습니다.
Google DeepMind의 세계 모델은 어떻게 작동하나요? 2025년 8월에 공개된 DeepMind의 세계 모델은 비디오를 입력받아 상호작용 시뮬레이션으로 변환합니다. 사용자는 시뮬레이션된 환경 안에서 탐색하고 행동할 수 있으며, 모델은 물리적으로 타당한 다음 프레임을 실시간으로 생성합니다. 물리 법칙을 직접 코딩하는 대신, 이 모델은 대규모 비디오 데이터셋 훈련을 통해 물리적 역학을 학습하며, 이를 관찰함으로써 세계가 어떻게 작동하는지 추론합니다.
Sources
- Google DeepMind — 실시간 상호작용 세계 모델 공개, 2025년 8월
- World Labs — Marble 제품 출시 및 기술 문서, 2026년
- AMI Labs — 10억 3천만 달러 시드 라운드 발표 및 JEPA 아키텍처 개요, 2026년
- Yann LeCun — JEPA 연구 논문 및 공개 발표 자료, Meta AI, 2025–2026년
