새로운 벤치마크, AI 모델 점수를 거의 제로로 만들다
젠슨 황이 AGI 달성을 선언한 지 사흘 만에, ARC-AGI-3는 인간이 완벽히 풀어낸 새로운 인터랙티브 과제에서 모든 프론티어 모델에 1% 미만의 점수를 매겼다.
참고: 이 기사는 추측성 요소를 포함한 논쟁적인 주제를 다룹니다. 서술된 사건들은 언급된 인물들이 취한 입장을 반영하며, AGI 지위에 대한 해석은 여전히 활발히 논쟁 중입니다.
요약
2026년 3월 23일, Nvidia CEO 젠슨 황(Jensen Huang)은 렉스 프리드먼(Lex Fridman)과의 대담에서 범용 인공지능(AGI)이 이미 달성되었다고 밝혔다. 3일 후인 3월 26일, ARC Prize Foundation은 ARC-AGI-3를 공개했다. 이는 어떤 AI 모델도 학습 과정에서 접한 적 없는 135개의 새로운 인터랙티브 환경으로 구성되어 있다. 인간은 이를 100% 효율로 풀어냈다. 테스트된 AI 모델 중 최고 점수는 0.37%였다. Grok-4.20은 정확히 0점을 기록했다. 이 논쟁은 능력에 관한 것이 아니다. "범용(general)"이 무엇을 의미하는지에 관한 것이다.
점수
| 시스템 | ARC-AGI-3 점수 (RHAE) |
|---|---|
| 인간 | 100% |
| Google Gemini 3.1 Pro | 0.37% |
| OpenAI GPT-5.4 | 0.26% |
| Anthropic Claude Opus 4.6 | 0.25% |
| xAI Grok-4.20 | 0.00% |
| ARC Prize 통과 상금 | $2,000,000 |
젠슨 황이 말한 내용
3월 23일, 황은 이 주제에 대해 그의 커리어 중 가장 단정적인 공개 발언을 했다:
"지금이라고 생각합니다. 우리가 AGI를 달성했다고 생각합니다." — 젠슨 황, Nvidia CEO, Lex Fridman Podcast, 2026년 3월 23일
황이 정의하는 AGI는 실용적이다: 정교한 다단계 워크플로우를 실행하고, 프로덕션급 코드를 작성하며 — 원칙적으로는 — 사람이 매 단계를 감독하지 않고도 기술 기업을 10억 달러 가치까지 운영할 수 있는 AI를 의미한다. 이 기준으로 볼 때, 그는 Claude Code, 도구 사용이 가능한 GPT-5.4, 그리고 멀티 에이전트 Grok 구성이 이미 그 자격을 갖췄다고 주장한다.
이 발언은 몇 시간 만에 CNBC, Forbes, Fortune, Yahoo Finance에 보도되었다. 연구 커뮤니티의 반응은 회의적이었다.
3일 후: ARC-AGI-3
원조 ARC-AGI 벤치마크의 창시자이자 ARC Prize Foundation의 공동 창립자인 프랑수아 숄레(François Chollet)는 3월 26일 ARC-AGI-3를 발표했다. 황의 선언과 관련된 이 타이밍은 우연이 아니었다.
ARC-AGI-3는 황의 정의가 간과하고 있는 것, 즉 진정한 일반화 능력을 정확히 테스트하도록 만들어졌다. 이 벤치마크는 어떤 학습 데이터에도 등장할 수 없었던 135개의 인터랙티브 환경을 AI에게 제시한다 — 지침 없이 처음부터 탐색과 추론이 필요한 새로운 문제 공간이다. 채점 지표인 상대적 인간 행동 효율성(Relative Human Action Efficiency, RHAE)은 비효율성에도 불이익을 준다: 인간이 필요로 하는 행동의 10배로 퍼즐을 풀면, 해당 환경에 대해 단 1%의 점수만 획득한다.
부정행위를 방지하기 위해, 135개 환경 중 110개는 공개 접근이 차단되어 있다. 25개만 테스트용으로 열려 있다. 어떤 모델도 200만 달러의 상금을 청구할 만한 점수에 근접하지 못했다.
점수가 이렇게 낮은 이유
AI 일반화를 연구하는 연구자들에게 이 성능 격차는 놀랍지 않다. 오늘날의 최첨단 모델들은 학습 분포와 유사한 작업에서는 매우 뛰어난 성능을 보인다. 이들은 정교한 코드를 작성하고, 복잡한 문서를 종합하며, 박사급 수준이거나 그 이상의 수학 문제를 풀 수 있다 — 그런 작업의 사례를 수백만 개 접했기 때문이다.
ARC-AGI-3는 이러한 이점을 완전히 제거한다. 이 환경들은 어떤 데이터셋에도 없는 것과 완전히 다르도록 설계되었다. 지침이 전혀 없다. 각 퍼즐의 구조에 매핑되는 사전 학습 데이터도 없다. 성능을 내려면 인간이 자연스럽게 발달시키지만 현재의 AI 아키텍처에는 없는 종류의 유연하고 탐색적인 추론이 필요하다.
Grok의 0점은 특히 시사하는 바가 크다. Grok-4.20은 암기된 지식과 패턴 매칭을 측정하는 표준 테스트에서는 좋은 성적을 낸다. ARC-AGI-3에서는 새로운 환경 전부에서 0점을 기록했다 — 이는 학습을 넘어선 일반화 능력이 전혀 없음을 나타내며, 생산적인 탐색적 행동조차 하지 못함을 보여준다.
두 가지 정의, 하나의 미해결 논쟁
황과 숄레의 의견 차이는 사실의 문제가 아니라 구조의 문제다. 그들은 서로 다른 것을 측정하고 있다.
| 젠슨 황 | 프랑수아 숄레 | |
|---|---|---|
| AGI의 정의 | 복잡한 워크플로우를 실행하고 대규모로 상업적 가치를 창출하는 AI | 인간처럼 사전 학습 없이 새로운 상황에 일반화할 수 있는 AI |
| 현재 AI 상태 | 이미 달성됨 | 달성되지 않음 — 최고 점수 0.37% |
| 벤치마크 프레이밍 | 실용적인 결과물이 중요 | 일반화 능력만이 유일하게 유효한 테스트 |
| 재정적 이해관계 | Nvidia의 기업 가치는 AI 성숙도 서사에 달려 있음 | 독립 연구자; 아직 누구도 상금을 받지 못함 |
"만약 어떤 시스템이 지침 없이 새로운 상황에 일반화할 수 없다면, 그것은 비싼 자동완성이지 — 범용 지능이 아니다." — 프랑수아 숄레, ARC Prize Foundation, 2026년 3월
Yahoo Finance와 Fortune은 모두 보도에서, 황의 선언이 모든 AI 개발을 뒷받침하는 하드웨어를 판매하는 회사의 CEO에 의해 이루어졌다는 점을 지적했다 — 이는 그의 주장을 어떻게 평가해야 하는지에 영향을 미치는 실질적인 이해상충이다.
다른 AI 리더들의 입장
| 인물 | 소속 | AGI에 대한 입장 (2026년 3월) |
|---|---|---|
| 젠슨 황 | Nvidia | 달성됨 — AI가 복잡한 워크플로우를 상업적으로 운영할 수 있음 |
| 프랑수아 숄레 | ARC Prize Foundation | 달성되지 않음 — 새로운 환경 벤치마크에서 0.37% |
| 데미스 하사비스 | Google DeepMind | 좁은 과학 영역에서 근접해가고 있음 |
| 다리오 아모데이 | Anthropic | 특정 지식 영역에서 2026~2027년 내에 도달 가능 |
| 얀 르쿤 | AMI Labs / Meta | 아직 요원함 — 물리적 세계 모델과 상식이 결여됨 |
실질적으로 의미하는 바
오늘날 AI 도구를 사용하는 사람들에게 이 논쟁은 다소 학술적이다. 현재의 모델들은 학습된 작업 — 글쓰기, 코딩, 연구 종합, 분석, 익숙한 문제 구조 내에서의 추론 — 에 대해서는 실제로 강력하다.
이들이 안정적으로 할 수 없는 것은, 학습 데이터에 대응물이 없는 진정으로 새로운 유형의 문제를 마주쳤을 때 처음부터 접근 방법을 스스로 찾아내는 것이다. 이 격차는 단순한 마케팅상의 각주가 아니다. 이는 이를 측정하도록 특별히 설계된 벤치마크에서 Gemini의 최고 성능과 인간 기준선 사이의 99.63퍼센트포인트 격차다.
200만 달러의 ARC Prize는 아직 아무도 받지 못했다. 벤치마크는 공개되어 있다. 격차는 여전히 남아 있다.
자주 묻는 질문
Nvidia의 젠슨 황이 AGI 달성을 선언했나? 그렇다. 2026년 3월 23일, 황은 Lex Fridman 팟캐스트에서 이렇게 말했다: "지금이라고 생각합니다. 우리가 AGI를 달성했다고 생각합니다." 그의 정의는 새로운 상황에 대한 일반화를 요구하는 학술적 정의가 아니라, 복잡한 다단계 작업을 자율적으로 실행하고 상업적 가치를 창출할 수 있는 AI를 요구한다.
ARC-AGI-3는 무엇을 측정했으며 점수는 어땠나? 2026년 3월 26일 ARC Prize Foundation이 발표한 ARC-AGI-3는 학습 데이터와 전혀 겹치지 않는 135개의 새로운 인터랙티브 환경에서 AI를 테스트한다. 채점 지표(RHAE)는 비효율성에도 불이익을 준다. 인간은 100%를 기록했다. Gemini 3.1 Pro는 0.37%(AI 중 최고 점수)를 기록했다. GPT-5.4는 0.26%, Claude Opus 4.6은 0.25%, Grok-4.20은 0%를 기록했다.
AI 모델들은 왜 ARC-AGI-3에서 이렇게 낮은 점수를 받았나? 이 벤치마크는 모든 학습상의 이점을 제거한다. 모델들은 이전 사례에 패턴을 맞출 수 없는데, 그런 사례가 존재하지 않기 때문이다. ARC-AGI-3는 진정한 일반화 — 새로운 환경에 대해 처음부터 추론하는 능력 — 를 요구하며, 이는 현재의 AI 아키텍처가 안정적으로 해낼 수 없는 것이다. Grok-4.20의 0점은 암기된 지식이 표준 벤치마크에서는 유용하지만 진정으로 접해본 적 없는 문제 유형을 마주할 때는 전혀 도움이 되지 않는다는 것을 보여준다.
ARC Prize란 무엇이며 받은 사람이 있는가? ARC Prize Foundation은 ARC-AGI-3에서 인간 수준의 성능을 달성하는 모든 AI 시스템에 200만 달러를 제공하고 있다. 2026년 3월 말 기준, 어떤 모델도 근접하지 못했다. 이 벤치마크는 테스트 데이터에 대한 학습을 방지하기 위해 135개 환경 중 110개를 공개 접근에서 제외하고 있다.
출처
- Fortune — "Nvidia's Jensen Huang says 'We've achieved AGI.' But no one can agree on what that means"
- Decrypt — "Is AGI Here? Not Even Close, New AI Benchmark Suggests"
- Forbes — "Nvidia's Jensen Huang Says He Thinks 'We've Achieved AGI'"
- Winbuzzer — "ARC-AGI-3 Offers $2M for AI Matching Human Reasoning"
- ARC Prize Foundation — ARC-AGI-3 benchmark release, March 26, 2026
