Voltar
Novo Benchmark Coloca Modelos de IA Perto de Zero
March 31, 2026
7 min de leitura
Compartilhe este artigo

Novo Benchmark Coloca Modelos de IA Perto de Zero

Três dias depois de Jensen Huang declarar que a AGI havia sido alcançada, o ARC-AGI-3 deu a todos os modelos de fronteira uma pontuação abaixo de 1% em tarefas interativas inéditas que humanos resolveram perfeitamente.

Nota: Este artigo examina um debate contestado com elementos especulativos. Os eventos descritos refletem posições assumidas por indivíduos nomeados; as interpretações sobre o status de AGI permanecem ativamente disputadas.

Resumo

Em 23 de março de 2026, o CEO da Nvidia, Jensen Huang, disse a Lex Fridman que a inteligência artificial geral foi alcançada. Em 26 de março — três dias depois — a ARC Prize Foundation lançou o ARC-AGI-3: 135 ambientes interativos inéditos que nenhum modelo de IA havia visto durante o treinamento. Os humanos os resolveram com 100% de eficiência. O melhor modelo de IA testado obteve 0,37%. O Grok-4.20 obteve exatamente zero. O debate não é sobre capacidade. É sobre o que "geral" significa.

As Pontuações

SistemaPontuação ARC-AGI-3 (RHAE)
Humanos100%
Google Gemini 3.1 Pro0,37%
OpenAI GPT-5.40,26%
Anthropic Claude Opus 4.60,25%
xAI Grok-4.200,00%
Prêmio ARC por aprovação$2.000.000

O Que Jensen Huang Disse

Em 23 de março, Huang fez a declaração pública mais definitiva de sua carreira sobre o tema:

"Acho que é agora. Acho que alcançamos a AGI." — Jensen Huang, CEO da Nvidia, Lex Fridman Podcast, 23 de março de 2026

A definição de AGI de Huang é operacional: uma IA capaz de executar fluxos de trabalho sofisticados de múltiplas etapas, escrever código pronto para produção e — em princípio — administrar uma empresa de tecnologia até uma avaliação de US$ 1 bilhão sem exigir que um humano supervisione cada etapa. Por esse padrão, ele argumenta, o Claude Code, o GPT-5.4 com uso de ferramentas e configurações multiagente do Grok já se qualificam.

A declaração repercutiu na CNBC, Forbes, Fortune e Yahoo Finance em poucas horas. A resposta da comunidade de pesquisa foi cética.

Três Dias Depois: ARC-AGI-3

François Chollet — o criador do benchmark ARC-AGI original e cofundador da ARC Prize Foundation — publicou o ARC-AGI-3 em 26 de março. O momento em relação à declaração de Huang não foi coincidência.

O ARC-AGI-3 foi construído para testar exatamente o que a definição de Huang ignora: a generalização genuína. O benchmark apresenta à IA 135 ambientes interativos que não poderiam ter aparecido em nenhum dado de treinamento — espaços de problemas inéditos que exigem exploração e raciocínio do zero, sem instruções. A métrica de pontuação, Relative Human Action Efficiency (RHAE), também penaliza a ineficiência: resolva o quebra-cabeça com dez vezes as ações que um humano precisaria e você ganhará apenas 1% de crédito para esse ambiente.

Para evitar manipulação, 110 dos 135 ambientes são mantidos fora do acesso público. Apenas 25 estão abertos para testes. Nenhum modelo chegou perto de uma pontuação que reivindicasse o prêmio de US$ 2 milhões.

Por Que as Pontuações São Tão Baixas

O gap de desempenho não é surpreendente para os pesquisadores que estudam a generalização de IA. Os modelos de fronteira de hoje são extraordinariamente capazes em tarefas que se assemelham à sua distribuição de treinamento. Eles conseguem escrever código sofisticado, sintetizar documentos complexos e resolver problemas de matemática em nível de doutorado ou acima — porque viram milhões de exemplos de tais tarefas.

O ARC-AGI-3 remove essa vantagem por completo. Os ambientes são projetados para serem diferentes de qualquer coisa em qualquer conjunto de dados. Não há instruções. Não há dados de treinamento prévios que correspondam à estrutura de cada quebra-cabeça. O desempenho exige o tipo de raciocínio flexível e exploratório que os humanos desenvolvem naturalmente e que as arquiteturas atuais de IA não possuem.

A pontuação zero do Grok é especialmente reveladora. O Grok-4.20 tem bom desempenho em testes padrão que medem conhecimento memorizado e correspondência de padrões. No ARC-AGI-3, obteve zero em todos os ambientes inéditos — indicando nenhuma capacidade de generalizar além do treinamento, nem mesmo o suficiente para fazer movimentos exploratórios produtivos.

Duas Definições, Um Argumento Não Resolvido

O desacordo entre Huang e Chollet é estrutural, não factual. Eles estão medindo coisas diferentes.

Jensen HuangFrançois Chollet
Definição de AGIIA que executa fluxos de trabalho complexos e cria valor comercial em escalaIA que generaliza para situações inéditas sem treinamento prévio, como qualquer humano faz
Status atual da IAJá alcançadoNão alcançado — melhor pontuação 0,37%
Enquadramento do benchmarkO resultado prático importaA capacidade de generalização é o único teste válido
Interesse financeiroA avaliação da Nvidia depende da narrativa de maturidade da IAPesquisador independente; prêmio ainda não reivindicado por ninguém

"Se um sistema não consegue generalizar para situações inéditas sem instrução, é um autocomplete caro — não inteligência geral." — François Chollet, ARC Prize Foundation, março de 2026

Yahoo Finance e Fortune observaram em suas coberturas que a declaração de Huang é feita pelo CEO da empresa que vende o hardware que alimenta todo o desenvolvimento de IA — um conflito de interesse material que molda como suas afirmações devem ser ponderadas.

Onde Outros Líderes de IA Se Posicionam

PessoaOrganizaçãoPosição sobre AGI (março de 2026)
Jensen HuangNvidiaAlcançado — a IA pode executar fluxos de trabalho complexos comercialmente
François CholletARC Prize FoundationNão alcançado — 0,37% em benchmark de ambiente inédito
Demis HassabisGoogle DeepMindAproximando-se em domínios científicos restritos
Dario AmodeiAnthropicAo alcance até 2026–2027 em domínios de conhecimento específicos
Yann LeCunAMI Labs / MetaLonge de ser alcançado — faltam modelos do mundo físico e senso comum

O Que Isso Significa na Prática

Para as pessoas que usam ferramentas de IA hoje, o debate é um tanto acadêmico. Os modelos atuais são genuinamente poderosos para as tarefas para as quais foram treinados: escrita, programação, síntese de pesquisa, análise, raciocínio dentro de estruturas de problemas familiares.

O que eles não conseguem fazer de forma confiável é encontrar um tipo de problema genuinamente novo — um sem análogo nos dados de treinamento — e descobrir como abordá-lo do zero. Esse gap não é uma nota de rodapé de marketing. É um gap de 99,63 pontos percentuais entre o melhor desempenho do Gemini e a linha de base humana em um benchmark projetado especificamente para medi-lo.

O prêmio ARC de US$ 2 milhões não foi reivindicado. O benchmark está aberto. O gap permanece.

Perguntas Frequentes

Jensen Huang, da Nvidia, declarou que a AGI foi alcançada? Sim. Em 23 de março de 2026, Huang disse no podcast de Lex Fridman: "Acho que é agora. Acho que alcançamos a AGI." Sua definição exige uma IA que consiga executar autonomamente tarefas complexas de múltiplas etapas e criar valor comercial — não a definição acadêmica que exige generalização para situações inéditas.

O que o ARC-AGI-3 mediu e quais foram as pontuações? O ARC-AGI-3, lançado em 26 de março de 2026 pela ARC Prize Foundation, testa a IA em 135 ambientes interativos inéditos sem sobreposição com dados de treinamento. A métrica de pontuação (RHAE) também penaliza a ineficiência. Os humanos obtiveram 100%. O Gemini 3.1 Pro obteve 0,37% (a maior pontuação de IA). O GPT-5.4 obteve 0,26%, o Claude Opus 4.6 obteve 0,25%, e o Grok-4.20 obteve 0%.

Por que os modelos de IA têm um desempenho tão ruim no ARC-AGI-3? O benchmark remove todas as vantagens de treinamento. Os modelos não conseguem fazer correspondência de padrões com exemplos anteriores porque nenhum existe. O ARC-AGI-3 exige uma generalização verdadeira — raciocinar do zero sobre ambientes inéditos — algo que as arquiteturas de IA atuais não conseguem fazer de forma confiável. A pontuação zero do Grok-4.20 mostra que o conhecimento memorizado, embora útil em benchmarks padrão, não oferece nenhum benefício ao enfrentar tipos de problemas genuinamente inéditos.

O que é o ARC Prize e alguém já o venceu? A ARC Prize Foundation está oferecendo US$ 2 milhões para qualquer sistema de IA que iguale o desempenho humano no ARC-AGI-3. Até o final de março de 2026, nenhum modelo chegou perto. O benchmark mantém 110 dos 135 ambientes fora do acesso público para evitar treinamento sobre os dados de teste.

Fontes

  • Fortune — "Nvidia's Jensen Huang says 'We've achieved AGI.' But no one can agree on what that means"
  • Decrypt — "Is AGI Here? Not Even Close, New AI Benchmark Suggests"
  • Forbes — "Nvidia's Jensen Huang Says He Thinks 'We've Achieved AGI'"
  • Winbuzzer — "ARC-AGI-3 Offers $2M for AI Matching Human Reasoning"
  • ARC Prize Foundation — ARC-AGI-3 benchmark release, March 26, 2026
Publicado em March 31, 2026
Mais artigos