Neuer Benchmark bewertet KI-Modelle nahe null

Hinweis: Dieser Artikel untersucht eine umstrittene Debatte mit spekulativen Elementen. Die beschriebenen Ereignisse spiegeln die Positionen namentlich genannter Personen wider; Interpretationen des AGI-Status bleiben weiterhin aktiv umstritten.

Zusammenfassung

Am 23. März 2026 erklärte Nvidia-CEO Jensen Huang gegenüber Lex Fridman, dass künstliche allgemeine Intelligenz erreicht worden sei. Am 26. März – drei Tage später – veröffentlichte die ARC Prize Foundation ARC-AGI-3: 135 neuartige interaktive Umgebungen, die kein KI-Modell während des Trainings gesehen hatte. Menschen lösten sie mit 100 % Effizienz. Das beste getestete KI-Modell erzielte 0,37 %. Grok-4.20 erzielte exakt null. Die Debatte dreht sich nicht um Fähigkeiten. Es geht darum, was „allgemein" bedeutet.

Die Ergebnisse

Was Jensen Huang sagte

Am 23. März gab Huang die bislang eindeutigste öffentliche Aussage seiner Karriere zu diesem Thema ab:

„Ich denke, es ist jetzt so weit. Ich denke, wir haben AGI erreicht." — Jensen Huang, Nvidia-CEO, Lex-Fridman-Podcast, 23. März 2026

Huangs Definition von AGI ist operativ: eine KI, die in der Lage ist, komplexe, mehrstufige Arbeitsabläufe auszuführen, produktionsreifen Code zu schreiben und – im Prinzip – ein Technologieunternehmen bis zu einer Bewertung von 1 Milliarde Dollar zu führen, ohne dass ein Mensch jeden Schritt überwachen muss. Nach diesem Maßstab, so argumentiert er, erfüllen Claude Code, GPT-5.4 mit Tool-Nutzung und Multi-Agent-Konfigurationen von Grok diese Anforderung bereits.

Die Aussage erschien innerhalb weniger Stunden bei CNBC, Forbes, Fortune und Yahoo Finance. Die Reaktion der Forschungsgemeinschaft fiel skeptisch aus.

Drei Tage später: ARC-AGI-3

François Chollet – der Schöpfer des ursprünglichen ARC-AGI-Benchmarks und Mitbegründer der ARC Prize Foundation – veröffentlichte ARC-AGI-3 am 26. März. Das Timing im Verhältnis zu Huangs Erklärung war kein Zufall.

ARC-AGI-3 wurde so konzipiert, dass es genau das testet, was Huangs Definition außer Acht lässt: echte Generalisierung. Der Benchmark stellt der KI 135 interaktive Umgebungen vor, die in keinen Trainingsdaten hätten vorkommen können – neuartige Problemräume, die Exploration und Schlussfolgerung von Grund auf erfordern, ohne jegliche Anleitung. Die Bewertungsmetrik, Relative Human Action Efficiency (RHAE), bestraft zudem Ineffizienz: Wer das Puzzle mit dem Zehnfachen der Aktionen löst, die ein Mensch benötigen würde, erhält für diese Umgebung nur 1 % Gutschrift.

Um Manipulationen zu verhindern, werden 110 der 135 Umgebungen dem öffentlichen Zugriff vorenthalten. Nur 25 sind für Tests offen. Kein Modell ist auch nur annähernd an ein Ergebnis herangekommen, das den Anspruch auf den Preis von 2 Millionen Dollar rechtfertigen würde.

Warum die Ergebnisse so niedrig sind

Die Leistungslücke überrascht Forscher, die sich mit der Generalisierung von KI befassen, nicht. Die heutigen Spitzenmodelle sind außergewöhnlich leistungsfähig bei Aufgaben, die ihrer Trainingsverteilung ähneln. Sie können anspruchsvollen Code schreiben, komplexe Dokumente zusammenfassen und mathematische Probleme auf oder über Promotionsniveau lösen – weil sie Millionen von Beispielen solcher Aufgaben gesehen haben.

ARC-AGI-3 nimmt diesen Vorteil vollständig weg. Die Umgebungen sind so gestaltet, dass sie nichts in irgendeinem Datensatz ähneln. Es gibt keine Anleitungen. Es gibt keine vorherigen Trainingsdaten, die der Struktur des jeweiligen Puzzles entsprechen. Die Leistung erfordert die Art von flexiblem, explorativem Denken, das Menschen natürlicherweise entwickeln und über das aktuelle KI-Architekturen nicht verfügen.

Groks Nullpunktzahl ist besonders aufschlussreich. Grok-4.20 schneidet bei Standardtests, die auswendig gelerntes Wissen und Mustererkennung messen, gut ab. Bei ARC-AGI-3 erzielte es bei jeder neuartigen Umgebung null Punkte – ein Hinweis darauf, dass es keine Fähigkeit besitzt, über das Training hinaus zu generalisieren, nicht einmal genug, um produktive explorative Schritte zu unternehmen.

Zwei Definitionen, ein ungelöster Streit

Die Meinungsverschiedenheit zwischen Huang und Chollet ist struktureller, nicht faktischer Natur. Sie messen unterschiedliche Dinge.

„Wenn ein System sich ohne Anleitung nicht auf neuartige Situationen einstellen kann, ist es teures Autocomplete – keine allgemeine Intelligenz." — François Chollet, ARC Prize Foundation, März 2026

Yahoo Finance und Fortune wiesen in ihrer Berichterstattung beide darauf hin, dass Huangs Erklärung vom CEO des Unternehmens stammt, das die Hardware verkauft, die die gesamte KI-Entwicklung antreibt – ein wesentlicher Interessenkonflikt, der beeinflusst, wie seine Aussagen zu gewichten sind.

Wo andere KI-Führungspersönlichkeiten stehen

Was das in der Praxis bedeutet

Für Menschen, die KI-Tools heute nutzen, ist die Debatte einigermaßen akademisch. Aktuelle Modelle sind für die Aufgaben, für die sie trainiert wurden, wirklich leistungsstark: Schreiben, Programmieren, Recherche-Zusammenfassung, Analyse, Schlussfolgern innerhalb vertrauter Problemstrukturen.

Was sie nicht zuverlässig können, ist, auf eine wirklich neue Art von Problem zu stoßen – eines ohne Entsprechung in den Trainingsdaten – und von Grund auf herauszufinden, wie es anzugehen ist. Diese Lücke ist keine Fußnote im Marketing. Es ist eine Lücke von 99,63 Prozentpunkten zwischen Geminis bester Leistung und der menschlichen Basislinie bei einem Benchmark, der genau dafür entwickelt wurde, dies zu messen.

Der ARC-Preis über 2 Millionen Dollar wurde noch nicht beansprucht. Der Benchmark ist offen. Die Lücke bleibt bestehen.

Häufig gestellte Fragen

Hat Nvidias Jensen Huang erklärt, dass AGI erreicht wurde? Ja. Am 23. März 2026 sagte Huang im Lex-Fridman-Podcast: „Ich denke, es ist jetzt so weit. Ich denke, wir haben AGI erreicht." Seine Definition erfordert eine KI, die komplexe, mehrstufige Aufgaben autonom ausführen und kommerziellen Wert schaffen kann – nicht die akademische Definition, die eine Generalisierung auf neuartige Situationen erfordert.

Was hat ARC-AGI-3 gemessen und wie lauteten die Ergebnisse? ARC-AGI-3, veröffentlicht am 26. März 2026 von der ARC Prize Foundation, testet KI anhand von 135 neuartigen interaktiven Umgebungen ohne Überschneidung mit Trainingsdaten. Die Bewertungsmetrik (RHAE) bestraft zudem Ineffizienz. Menschen erzielten 100 %. Gemini 3.1 Pro erzielte 0,37 % (höchstes KI-Ergebnis). GPT-5.4 erzielte 0,26 %, Claude Opus 4.6 erzielte 0,25 % und Grok-4.20 erzielte 0 %.

Warum schneiden KI-Modelle bei ARC-AGI-3 so schlecht ab? Der Benchmark beseitigt sämtliche Trainingsvorteile. Modelle können keine Muster mit vorherigen Beispielen abgleichen, weil keine existieren. ARC-AGI-3 erfordert echte Generalisierung – Schlussfolgern von Grund auf über neuartige Umgebungen –, wozu aktuelle KI-Architekturen nicht zuverlässig in der Lage sind. Grok-4.20s Nullpunktzahl zeigt, dass auswendig gelerntes Wissen zwar bei Standard-Benchmarks nützlich ist, aber keinerlei Nutzen bringt, wenn es mit wirklich unbekannten Problemtypen konfrontiert wird.

Was ist der ARC-Preis, und hat ihn schon jemand gewonnen? Die ARC Prize Foundation bietet 2 Millionen Dollar für jedes KI-System, das bei ARC-AGI-3 menschliche Leistung erreicht. Bis Ende März 2026 ist kein Modell auch nur annähernd in die Nähe gekommen. Der Benchmark hält 110 der 135 Umgebungen vom öffentlichen Zugriff zurück, um ein Training auf Testdaten zu verhindern.

Quellen

• Fortune — „Nvidia's Jensen Huang says 'We've achieved AGI.' But no one can agree on what that means"
• Decrypt — „Is AGI Here? Not Even Close, New AI Benchmark Suggests"
• Forbes — „Nvidia's Jensen Huang Says He Thinks 'We've Achieved AGI'"
• Winbuzzer — „ARC-AGI-3 Offers $2M for AI Matching Human Reasoning"
• ARC Prize Foundation — ARC-AGI-3-Benchmark-Veröffentlichung, 26. März 2026