返回
新基准测试将 AI 模型评分接近零
March 31, 2026
7 分钟阅读
分享这篇文章

新基准测试将 AI 模型评分接近零

Jensen Huang 宣布 AGI 实现三天后,ARC-AGI-3 测试让所有前沿模型在人类能完美完成的新型交互任务上得分均低于 1%。

注意: 本文探讨一场存在争议、包含推测性内容的辩论。文中所述事件反映了具名人士所持的立场;对 AGI 状态的解读至今仍存在积极争议。

摘要

2026 年 3 月 23 日,Nvidia CEO 黄仁勋在接受 Lex Fridman 采访时表示,通用人工智能已经实现。三天后的 3 月 26 日,ARC Prize 基金会发布了 ARC-AGI-3:135 个全新交互环境,任何 AI 模型在训练期间均未曾接触。人类以 100% 的效率解决了这些问题。测试中表现最佳的 AI 模型得分为 0.37%。Grok-4.20 得分恰好为零。这场争论的焦点不在于能力本身,而在于"通用"究竟意味着什么。

得分情况

系统ARC-AGI-3 得分(RHAE)
人类100%
Google Gemini 3.1 Pro0.37%
OpenAI GPT-5.40.26%
Anthropic Claude Opus 4.60.25%
xAI Grok-4.200.00%
ARC Prize 通过奖金$2,000,000

黄仁勋的表态

3 月 23 日,黄仁勋就这一话题发表了迄今为止最为明确的公开声明:

"我认为就是现在。我认为我们已经实现了 AGI。" —— 黄仁勋,Nvidia CEO,Lex Fridman 播客,2026 年 3 月 23 日

黄仁勋对 AGI 的定义是操作层面的:一种能够执行复杂多步骤工作流、编写生产级代码,并且在原则上无需人工监督每个步骤即可将一家科技公司运营至 10 亿美元估值的 AI。按照这一标准,他认为,Claude Code、搭配工具使用的 GPT-5.4,以及多智能体 Grok 配置已然符合条件。

这一声明在数小时内登上了 CNBC、Forbes、Fortune 和 Yahoo Finance。研究界对此持怀疑态度。

三天后:ARC-AGI-3

François Chollet —— 原版 ARC-AGI 基准测试的创建者、ARC Prize 基金会联合创始人 —— 于 3 月 26 日发布了 ARC-AGI-3。发布时间与黄仁勋的宣言相距不远,并非巧合。

ARC-AGI-3 的设计初衷,正是为了测试黄仁勋的定义所忽略的内容:真正意义上的泛化能力。该基准测试向 AI 呈现 135 个交互式环境,这些环境不可能出现在任何训练数据中 —— 全新的问题空间,要求从零开始进行探索和推理,且没有任何说明。评分指标"相对人类行动效率"(RHAE)还会对低效行为加以惩罚:若解决一道谜题所需的操作次数是人类的十倍,该环境仅得 1% 的分数。

为防止作弊,135 个环境中有 110 个对外封闭。仅 25 个环境开放测试。目前没有任何模型接近能够赢得 200 万美元奖金的分数。

得分如此之低的原因

对于研究 AI 泛化能力的学者而言,这一巨大的性能差距并不令人意外。当前的前沿模型在类似训练分布的任务上表现极为出色。它们能够编写复杂代码、合成复杂文档,并以博士级别或更高水平解决数学问题 —— 因为它们已经见过数百万个此类任务的示例。

ARC-AGI-3 完全消除了这一优势。这些环境的设计目的就是与任何数据集中的内容都不相似。没有说明,没有可以映射到每道谜题结构的先验训练数据。要获得高分,需要人类自然发展出的那种灵活、探索性的推理能力,而当前的 AI 架构并不具备这种能力。

Grok 的零分尤其耐人寻味。 Grok-4.20 在测量记忆知识和模式匹配的标准测试中表现优异。然而在 ARC-AGI-3 上,它在每一个全新环境中均得零分 —— 表明其在训练之外完全不具备泛化能力,甚至连富有成效的探索性操作都无从做起。

两种定义,一场悬而未决的争论

黄仁勋与 Chollet 之间的分歧是结构性的,而非事实性的。他们测量的是不同的东西。

黄仁勋François Chollet
AGI 定义能够大规模执行复杂工作流并创造商业价值的 AI能够在没有先验训练的情况下泛化到新情境的 AI,就像任何人类一样
当前 AI 状态已经实现尚未实现 —— 最高得分 0.37%
基准测试框架实际产出才是重点泛化能力是唯一有效的衡量标准
利益关系Nvidia 的估值依赖于 AI 成熟度叙事独立研究者;奖金至今无人获得

"如果一个系统无法在没有说明的情况下泛化到新情境,它就是昂贵的自动补全,而非通用智能。" —— François Chollet,ARC Prize 基金会,2026 年 3 月

Yahoo Finance 和 Fortune 在报道中均指出,黄仁勋的宣言来自一位销售着驱动所有 AI 发展的硬件的公司 CEO —— 这一重大利益冲突影响着外界对其主张的权重判断。

其他 AI 领袖的立场

人物机构AGI 立场(2026 年 3 月)
黄仁勋Nvidia已实现 —— AI 可在商业上执行复杂工作流
François CholletARC Prize 基金会尚未实现 —— 在新环境基准测试中得分 0.37%
Demis HassabisGoogle DeepMind在狭窄的科学领域正在接近
Dario AmodeiAnthropic将于 2026–2027 年在特定知识领域内触手可及
Yann LeCunAMI Labs / Meta远未实现 —— 缺乏物理世界模型和常识

实际意义

对于今天使用 AI 工具的人来说,这场争论在某种程度上是学术性的。当前模型在其训练任务上确实非常强大:写作、编程、研究综合、分析,以及在熟悉问题结构中的推理。

它们无法可靠做到的,是遇到一种全新类型的问题 —— 没有训练数据类比的问题 —— 然后从零开始摸索解题思路。这一差距并非营销层面的注脚,而是一个具体的数字:在专门为衡量这一能力而设计的基准测试上,Gemini 的最佳表现与人类基准之间相差 99.63 个百分点。

200 万美元的 ARC Prize 尚无人认领。基准测试对外开放。差距依然存在。

常见问题

Nvidia 的黄仁勋是否宣布 AGI 已经实现? 是的。2026 年 3 月 23 日,黄仁勋在 Lex Fridman 播客上表示:"我认为就是现在。我认为我们已经实现了 AGI。"他的定义要求 AI 能够自主执行复杂多步骤任务并创造商业价值 —— 而非学术意义上要求泛化到新情境的定义。

ARC-AGI-3 测量什么,各模型得分如何? ARC-AGI-3 由 ARC Prize 基金会于 2026 年 3 月 26 日发布,在 135 个与训练数据无重叠的全新交互环境中测试 AI。评分指标(RHAE)同时对低效行为加以惩罚。人类得分 100%。Gemini 3.1 Pro 得分 0.37%(AI 最高分)。GPT-5.4 得分 0.26%,Claude Opus 4.6 得分 0.25%,Grok-4.20 得分 0%。

为什么 AI 模型在 ARC-AGI-3 上得分如此之低? 该基准测试消除了所有训练优势。模型无法通过模式匹配来对应先前示例,因为根本不存在这样的示例。ARC-AGI-3 要求真正的泛化能力 —— 针对新颖环境从零开始进行推理 —— 而当前的 AI 架构无法可靠地做到这一点。Grok-4.20 的零分表明,记忆知识虽然在标准基准测试中有用,但在面对真正未曾见过的问题类型时毫无裨益。

ARC Prize 是什么,有人获奖了吗? ARC Prize 基金会为任何在 ARC-AGI-3 上达到人类水平的 AI 系统提供 200 万美元奖金。截至 2026 年 3 月底,没有任何模型接近这一水平。该基准测试将 135 个环境中的 110 个对外封闭,以防止模型针对测试数据进行训练。

来源

  • Fortune —— "Nvidia 的黄仁勋称'我们已实现 AGI',但没有人能就此达成共识"
  • Decrypt —— "AGI 来了吗?新 AI 基准测试表明:远未如此"
  • Forbes —— "Nvidia 的黄仁勋称他认为'我们已实现 AGI'"
  • Winbuzzer —— "ARC-AGI-3 为匹配人类推理能力的 AI 提供 200 万美元奖金"
  • ARC Prize 基金会 —— ARC-AGI-3 基准测试发布,2026 年 3 月 26 日
发布于 March 31, 2026
更多文章