新しいベンチマーク、AIモデルのスコアがほぼゼロに

注記: 本記事は、投機的要素を含む論争中の議論を検討するものです。記述された出来事は、記名された個人の立場を反映しており、AGIステータスの解釈は現在も活発に争われています。

概要

2026年3月23日、Nvidia CEO Jensen HuangはLex Fridmanに対し、汎用人工知能が達成されたと語った。3日後の3月26日、ARC Prize Foundationはどの AIモデルも訓練中に見たことのない135種類の新規インタラクティブ環境から成るARC-AGI-3をリリースした。人間はそれらを100%の効率で解いた。テストされた最高のAIモデルのスコアは0.37%。Grok-4.20は正確に0点だった。この議論は能力についてではない。「汎用」が何を意味するかについてである。

スコア

Jensen Huangの発言

3月23日、HuangはAGIに関して自身のキャリアで最も断定的な公式声明を発した。

「今だと思います。AGIを達成したと思います。」 — Jensen Huang、Nvidia CEO、Lex Fridman Podcast、2026年3月23日

HuangのAGI定義は実用的なものだ。高度なマルチステップワークフローを実行し、プロダクションレベルのコードを書き、原則として人間が各ステップを監督することなく技術企業を10億ドルの評価額まで運営できるAI、というものである。その基準からすれば、Claude Code、ツール使用を伴うGPT-5.4、マルチエージェントGrok構成はすでに該当すると彼は主張する。

この声明は数時間以内にCNBC、Forbes、Fortune、Yahoo Financeに掲載された。研究コミュニティの反応は懐疑的だった。

3日後：ARC-AGI-3

François Chollet — 元々のARC-AGIベンチマークの創設者でありARC Prize Foundationの共同創設者 — は3月26日にARC-AGI-3を公開した。Huangの宣言からのタイミングは偶然ではなかった。

ARC-AGI-3は、Huangの定義が無視しているまさにその点 — 真の汎化能力 — をテストするために構築されている。このベンチマークは、どの訓練データにも存在し得なかった135種類のインタラクティブ環境をAIに提示する。これは、指示なしに最初から探索と推論を必要とする、新規の問題空間である。スコアリング指標であるRelative Human Action Efficiency（RHAE）も非効率性にペナルティを課す。人間の10倍のアクション数で問題を解いた場合、その環境では1%のクレジットしか得られない。

ゲームプレイを防ぐため、135環境のうち110はパブリックアクセスから非公開とされている。テスト用に公開されているのは25環境のみ。200万ドルの賞金を獲得できるスコアに近づいたモデルは一つもない。

スコアがこれほど低い理由

このパフォーマンスのギャップは、AI汎化を研究する研究者にとって意外なことではない。今日のフロンティアモデルは、訓練データの分布に似たタスクにおいて非常に優れた能力を発揮する。洗練されたコードを書き、複雑な文書を合成し、PhD レベルかそれ以上の数学問題を解くことができる — なぜなら、そのようなタスクの何百万もの例を見てきたからだ。

ARC-AGI-3はその優位性を完全に排除する。これらの環境は、あらゆるデータセットに存在するものとは異なるように設計されている。指示はない。各パズルの構造にマッピングされる事前訓練データも存在しない。パフォーマンスには、人間が自然に発達させ、現在のAIアーキテクチャには備わっていない、柔軟で探索的な推論が必要となる。

Grokのゼロスコアは特に示唆的だ。 Grok-4.20は、記憶された知識とパターンマッチングを測定する標準テストでは好成績を収める。しかしARC-AGI-3では、すべての新規環境でゼロを記録した — 訓練を超えて汎化する能力が全くないことを示しており、生産的な探索的動作さえ行えない。

二つの定義、一つの未解決な議論

HuangとCholletの不一致は構造的なものであり、事実的なものではない。彼らは異なるものを測定している。

「新規状況に指示なしで汎化できないシステムは、高価なオートコンプリートに過ぎず — 汎用知能ではない。」 — François Chollet、ARC Prize Foundation、2026年3月

Yahoo FinanceとFortuneはいずれも報道の中で、Huangの宣言はすべてのAI開発を支えるハードウェアを販売する会社のCEOによるものであると指摘した — 彼の主張をどの程度重視すべきかを形作る重大な利益相反である。

他のAIリーダーの立場

実際的な意味

今日AIツールを使用している人々にとって、この議論はやや学術的なものだ。現在のモデルは、訓練されたタスク — 文章作成、コーディング、調査合成、分析、親しみある問題構造内での推論 — において本当に強力である。

彼らが確実にできないのは、訓練データに類似するものが全くない真に新しい種類の問題に遭遇し、最初からどのようにアプローチするかを考え出すことだ。そのギャップはマーケティングの脚注ではない。それは、そのギャップを測定するために特別に設計されたベンチマークで、Geminiの最高パフォーマンスと人間の基準値の間にある99.63パーセントポイントの差だ。

200万ドルのARC Prizeはまだ受け取られていない。ベンチマークは公開されている。ギャップは残っている。

よくある質問

NvidiaのJensen HuangはAGI達成を宣言しましたか？ はい。2026年3月23日、HuangはLex Fridman podcastで「今だと思います。AGIを達成したと思います」と発言しました。彼の定義では、複雑なマルチステップタスクを自律的に実行し商業的価値を生み出せるAIを必要とします — 新規状況への汎化を要求する学術的な定義ではありません。

ARC-AGI-3は何を測定し、スコアはどうでしたか？ ARC-AGI-3は2026年3月26日にARC Prize Foundationによってリリースされ、訓練データと重複しない135種類の新規インタラクティブ環境でAIをテストします。スコアリング指標（RHAE）は非効率性にもペナルティを課します。人間は100%を記録しました。Gemini 3.1 Proは0.37%（AI最高スコア）、GPT-5.4は0.26%、Claude Opus 4.6は0.25%、Grok-4.20は0%でした。

AIモデルはなぜARC-AGI-3でこれほど低いスコアを記録するのですか？ このベンチマークは訓練上のあらゆる優位性を排除します。モデルは過去の例にパターンマッチングできません — そのような例が存在しないからです。ARC-AGI-3は真の汎化 — 新規環境について最初から推論すること — を必要としますが、現在のAIアーキテクチャにはそれが確実にはできません。Grok-4.20のゼロスコアは、記憶された知識が標準ベンチマークでは有用であっても、真に未知の問題タイプに直面した際にはゼロの恩恵しかもたらさないことを示しています。

ARC Prizeとは何で、誰かが受賞しましたか？ ARC Prize Foundationは、ARC-AGI-3で人間のパフォーマンスに匹敵するAIシステムに対して200万ドルを提供しています。2026年3月末時点では、どのモデルも近づいていません。このベンチマークは訓練データへの組み込みを防ぐため、135環境のうち110をパブリックアクセスから非公開としています。

出典

• Fortune — "Nvidia's Jensen Huang says 'We've achieved AGI.' But no one can agree on what that means"
• Decrypt — "Is AGI Here? Not Even Close, New AI Benchmark Suggests"
• Forbes — "Nvidia's Jensen Huang Says He Thinks 'We've Achieved AGI'"
• Winbuzzer — "ARC-AGI-3 Offers $2M for AI Matching Human Reasoning"
• ARC Prize Foundation — ARC-AGI-3ベンチマークリリース、2026年3月26日