Un nouveau benchmark note les modèles d'IA proches de zéro

Remarque : Cet article examine un débat controversé comportant des éléments spéculatifs. Les événements décrits reflètent les positions prises par des personnes nommées ; les interprétations du statut de l'AGI restent activement disputées.

Résumé

Le 23 mars 2026, le PDG de Nvidia Jensen Huang a déclaré à Lex Fridman que l'intelligence artificielle générale avait été atteinte. Le 26 mars — trois jours plus tard — l'ARC Prize Foundation a publié ARC-AGI-3 : 135 environnements interactifs inédits qu'aucun modèle d'IA n'avait vus pendant son entraînement. Les humains les ont résolus avec une efficacité de 100 %. Le meilleur modèle d'IA testé a obtenu 0,37 %. Grok-4.20 a obtenu exactement zéro. Le débat ne porte pas sur la capacité. Il porte sur ce que signifie « général ».

Les Scores

Ce Qu'a Dit Jensen Huang

Le 23 mars, Huang a fait la déclaration publique la plus tranchée de sa carrière sur le sujet :

« Je pense que c'est maintenant. Je pense que nous avons atteint l'AGI. » — Jensen Huang, PDG de Nvidia, podcast Lex Fridman, 23 mars 2026

La définition de l'AGI selon Huang est opérationnelle : une IA capable d'exécuter des flux de travail sophistiqués à plusieurs étapes, d'écrire du code de qualité production et — en principe — de diriger une entreprise technologique jusqu'à une valorisation d'un milliard de dollars sans qu'un humain n'ait à superviser chaque étape. Selon ce critère, avance-t-il, Claude Code, GPT-5.4 avec utilisation d'outils, et les configurations multi-agents de Grok sont déjà qualifiés.

La déclaration a été reprise par CNBC, Forbes, Fortune et Yahoo Finance en quelques heures. La réaction de la communauté de recherche a été sceptique.

Trois Jours Plus Tard : ARC-AGI-3

François Chollet — créateur du benchmark original ARC-AGI et cofondateur de l'ARC Prize Foundation — a publié ARC-AGI-3 le 26 mars. Le calendrier par rapport à la déclaration de Huang n'était pas une coïncidence.

ARC-AGI-3 est conçu pour tester exactement ce que la définition de Huang ignore : la généralisation véritable. Le benchmark soumet l'IA à 135 environnements interactifs qui n'auraient pu apparaître dans aucune donnée d'entraînement — des espaces de problèmes inédits qui exigent exploration et raisonnement à partir de zéro, sans instructions. La métrique de notation, Relative Human Action Efficiency (RHAE), pénalise également l'inefficacité : résoudre le puzzle avec dix fois plus d'actions qu'un humain n'en aurait besoin ne rapporte que 1 % de crédit pour cet environnement.

Pour éviter toute manipulation, 110 des 135 environnements sont retenus hors de l'accès public. Seuls 25 sont ouverts aux tests. Aucun modèle ne s'est approché d'un score qui permettrait de revendiquer le prix de 2 millions de dollars.

Pourquoi les Scores Sont Si Bas

Cet écart de performance ne surprend pas les chercheurs qui étudient la généralisation de l'IA. Les modèles de pointe actuels sont extraordinairement performants sur des tâches qui ressemblent à leur distribution d'entraînement. Ils peuvent écrire du code sophistiqué, synthétiser des documents complexes et résoudre des problèmes mathématiques à un niveau égal ou supérieur au doctorat — parce qu'ils ont vu des millions d'exemples de telles tâches.

ARC-AGI-3 supprime entièrement cet avantage. Les environnements sont conçus pour ne ressembler à rien de présent dans un quelconque jeu de données. Il n'y a pas d'instructions. Il n'existe aucune donnée d'entraînement préalable correspondant à la structure de chaque puzzle. La performance exige le type de raisonnement flexible et exploratoire que les humains développent naturellement et que les architectures d'IA actuelles ne possèdent pas.

Le score nul de Grok est particulièrement révélateur. Grok-4.20 obtient de bons résultats sur les tests standards qui mesurent les connaissances mémorisées et la reconnaissance de motifs. Sur ARC-AGI-3, il a obtenu zéro sur chaque environnement inédit — indiquant une incapacité à généraliser au-delà de l'entraînement, pas même suffisante pour effectuer des actions exploratoires productives.

Deux Définitions, Un Débat Non Résolu

Le désaccord entre Huang et Chollet est structurel, non factuel. Ils mesurent des choses différentes.

« Si un système ne peut pas se généraliser à des situations inédites sans instruction, c'est de l'autocomplétion coûteuse — pas de l'intelligence générale. » — François Chollet, ARC Prize Foundation, mars 2026

Yahoo Finance et Fortune ont tous deux noté dans leur couverture que la déclaration de Huang émane du PDG de l'entreprise qui vend le matériel alimentant tout le développement de l'IA — un conflit d'intérêts important qui doit peser dans l'évaluation de ses affirmations.

Où en Sont les Autres Leaders de l'IA

Ce Que Cela Signifie en Pratique

Pour les personnes qui utilisent des outils d'IA aujourd'hui, le débat est quelque peu académique. Les modèles actuels sont réellement puissants pour les tâches pour lesquelles ils ont été entraînés : rédaction, codage, synthèse de recherche, analyse, raisonnement au sein de structures de problèmes familières.

Ce qu'ils ne peuvent pas faire de manière fiable, c'est rencontrer un type de problème véritablement nouveau — sans analogue dans les données d'entraînement — et déterminer comment l'aborder à partir de zéro. Cet écart n'est pas une note de bas de page marketing. C'est un écart de 99,63 points de pourcentage entre la meilleure performance de Gemini et la référence humaine sur un benchmark spécifiquement conçu pour le mesurer.

Le prix ARC de 2 millions de dollars n'a pas été revendiqué. Le benchmark est ouvert. L'écart demeure.

Questions Fréquemment Posées

Jensen Huang de Nvidia a-t-il déclaré que l'AGI était atteinte ? Oui. Le 23 mars 2026, Huang a déclaré sur le podcast Lex Fridman : « Je pense que c'est maintenant. Je pense que nous avons atteint l'AGI. » Sa définition exige une IA capable d'exécuter de manière autonome des tâches complexes à plusieurs étapes et de créer de la valeur commerciale — et non la définition académique exigeant une généralisation à des situations inédites.

Que mesurait ARC-AGI-3 et quels étaient les scores ? ARC-AGI-3, publié le 26 mars 2026 par l'ARC Prize Foundation, teste l'IA sur 135 environnements interactifs inédits sans aucun chevauchement avec les données d'entraînement. La métrique de notation (RHAE) pénalise également l'inefficacité. Les humains ont obtenu 100%. Gemini 3.1 Pro a obtenu 0,37% (le meilleur score IA). GPT-5.4 a obtenu 0,26%, Claude Opus 4.6 a obtenu 0,25%, et Grok-4.20 a obtenu 0%.

Pourquoi les modèles d'IA obtiennent-ils des scores si faibles sur ARC-AGI-3 ? Le benchmark supprime tous les avantages liés à l'entraînement. Les modèles ne peuvent pas faire de reconnaissance de motifs par rapport à des exemples préalables, car aucun n'existe. ARC-AGI-3 exige une véritable généralisation — un raisonnement à partir de zéro sur des environnements inédits — que les architectures d'IA actuelles ne peuvent pas accomplir de manière fiable. Le score nul de Grok-4.20 montre que les connaissances mémorisées, bien qu'utiles sur les benchmarks standards, n'apportent aucun avantage face à des types de problèmes véritablement inédits.

Qu'est-ce que le Prix ARC et quelqu'un l'a-t-il remporté ? L'ARC Prize Foundation offre 2 millions de dollars à tout système d'IA égalant la performance humaine sur ARC-AGI-3. À fin mars 2026, aucun modèle ne s'en est approché. Le benchmark retient 110 des 135 environnements hors de l'accès public afin d'empêcher tout entraînement sur les données de test.

Sources

• Fortune — « Nvidia's Jensen Huang says 'We've achieved AGI.' But no one can agree on what that means »
• Decrypt — « Is AGI Here? Not Even Close, New AI Benchmark Suggests »
• Forbes — « Nvidia's Jensen Huang Says He Thinks 'We've Achieved AGI' »
• Winbuzzer — « ARC-AGI-3 Offers $2M for AI Matching Human Reasoning »
• ARC Prize Foundation — ARC-AGI-3 benchmark release, March 26, 2026