Voltar
Novo Benchmark Coloca Modelos de IA Perto de Zero
March 31, 2026
7 min de leitura
Compartilhe este artigo

Novo Benchmark Coloca Modelos de IA Perto de Zero

Três dias depois de Jensen Huang ter declarado a AGI alcançada, o ARC-AGI-3 atribuiu a todos os modelos de fronteira uma pontuação inferior a um por cento em tarefas interativas inéditas que os humanos resolveram na perfeição.

Nota: Este artigo analisa um debate contestado com elementos especulativos. Os eventos descritos refletem posições assumidas por pessoas nomeadas; as interpretações sobre o estatuto de AGI continuam a ser ativamente disputadas.

Resumo

A 23 de março de 2026, o CEO da Nvidia, Jensen Huang, disse a Lex Fridman que a inteligência artificial geral tinha sido alcançada. A 26 de março — três dias depois — a ARC Prize Foundation lançou o ARC-AGI-3: 135 ambientes interativos inéditos que nenhum modelo de IA tinha visto durante o treino. Os humanos resolveram-nos com 100% de eficiência. O melhor modelo de IA testado obteve 0,37%. O Grok-4.20 obteve exatamente zero. O debate não é sobre capacidade. É sobre o que significa "geral".

As Pontuações

SistemaPontuação ARC-AGI-3 (RHAE)
Humanos100%
Google Gemini 3.1 Pro0,37%
OpenAI GPT-5.40,26%
Anthropic Claude Opus 4.60,25%
xAI Grok-4.200,00%
Prémio ARC por aprovação$2.000.000

O Que Disse Jensen Huang

A 23 de março, Huang fez a declaração pública mais definitiva da sua carreira sobre o tema:

"Acho que é agora. Acho que alcançámos a AGI." — Jensen Huang, CEO da Nvidia, Lex Fridman Podcast, 23 de março de 2026

A definição de AGI de Huang é operacional: uma IA capaz de executar fluxos de trabalho sofisticados em vários passos, escrever código pronto para produção e — em princípio — dirigir uma empresa de tecnologia até uma avaliação de mil milhões de dólares sem exigir que um humano supervisione cada passo. Segundo esse critério, argumenta, o Claude Code, o GPT-5.4 com uso de ferramentas e as configurações multiagente do Grok já se qualificam.

A declaração chegou à CNBC, à Forbes, à Fortune e à Yahoo Finance em poucas horas. A resposta da comunidade de investigação foi cética.

Três Dias Depois: ARC-AGI-3

François Chollet — o criador do benchmark original ARC-AGI e cofundador da ARC Prize Foundation — publicou o ARC-AGI-3 a 26 de março. O momento da publicação em relação à declaração de Huang não foi coincidência.

O ARC-AGI-3 foi construído para testar exatamente aquilo que a definição de Huang ignora: a generalização genuína. O benchmark apresenta à IA 135 ambientes interativos que não poderiam ter aparecido em nenhum dado de treino — espaços de problemas inéditos que exigem exploração e raciocínio do zero, sem instruções. A métrica de pontuação, Eficiência de Ação Humana Relativa (RHAE), também penaliza a ineficiência: resolver o puzzle com dez vezes o número de ações que um humano precisaria significa obter apenas 1% de crédito nesse ambiente.

Para evitar manipulação, 110 dos 135 ambientes são retidos do acesso público. Apenas 25 estão abertos para testes. Nenhum modelo se aproximou sequer de uma pontuação que reivindicasse o prémio de 2 milhões de dólares.

Porque São Tão Baixas as Pontuações

O fosso de desempenho não surpreende os investigadores que estudam a generalização em IA. Os modelos de fronteira atuais são extraordinariamente capazes em tarefas que se assemelham à sua distribuição de treino. Conseguem escrever código sofisticado, sintetizar documentos complexos e resolver problemas de matemática ao nível de doutoramento ou acima — porque viram milhões de exemplos desse tipo de tarefas.

O ARC-AGI-3 elimina essa vantagem por completo. Os ambientes foram concebidos para não se assemelharem a nada presente em qualquer conjunto de dados. Não há instruções. Não existem dados de treino prévios que correspondam à estrutura de cada puzzle. O desempenho exige o tipo de raciocínio flexível e exploratório que os humanos desenvolvem naturalmente e que as arquiteturas de IA atuais não possuem.

A pontuação zero do Grok é especialmente reveladora. O Grok-4.20 tem um bom desempenho nos testes padrão que medem conhecimento memorizado e correspondência de padrões. No ARC-AGI-3, obteve zero em todos os ambientes inéditos — indicando nenhuma capacidade de generalizar além do treino, nem sequer o suficiente para fazer movimentos exploratórios produtivos.

Duas Definições, Um Argumento Por Resolver

O desacordo entre Huang e Chollet é estrutural, não factual. Estão a medir coisas diferentes.

Jensen HuangFrançois Chollet
Definição de AGIIA que executa fluxos de trabalho complexos e cria valor comercial em grande escalaIA que generaliza para situações inéditas sem treino prévio, tal como qualquer humano faz
Estado atual da IAJá alcançadoNão alcançado — melhor pontuação de 0,37%
Enquadramento do benchmarkO que importa é o resultado práticoA capacidade de generalização é o único teste válido
Interesse financeiroA avaliação da Nvidia depende da narrativa de maturidade da IAInvestigador independente; o prémio ainda não foi reivindicado por ninguém

"Se um sistema não consegue generalizar para situações inéditas sem instrução, é um autocompletar dispendioso — não inteligência geral." — François Chollet, ARC Prize Foundation, março de 2026

A Yahoo Finance e a Fortune assinalaram ambas, na sua cobertura, que a declaração de Huang é feita pelo CEO da empresa que vende o hardware que alimenta todo o desenvolvimento de IA — um conflito de interesses material que deve ser tido em conta ao ponderar as suas afirmações.

Onde Se Posicionam Outros Líderes de IA

PessoaOrganizaçãoPosição sobre AGI (março de 2026)
Jensen HuangNvidiaAlcançada — a IA consegue executar fluxos de trabalho complexos comercialmente
François CholletARC Prize FoundationNão alcançada — 0,37% num benchmark de ambientes inéditos
Demis HassabisGoogle DeepMindA aproximar-se em domínios científicos restritos
Dario AmodeiAnthropicAo alcance entre 2026 e 2027 em domínios de conhecimento específicos
Yann LeCunAMI Labs / MetaLonge de ser alcançada — faltam modelos do mundo físico e senso comum

O Que Isto Significa Na Prática

Para as pessoas que utilizam ferramentas de IA atualmente, o debate é, de certo modo, académico. Os modelos atuais são genuinamente poderosos para as tarefas em que foram treinados: escrita, programação, síntese de investigação, análise, raciocínio dentro de estruturas de problemas familiares.

O que não conseguem fazer de forma fiável é deparar-se com um tipo de problema genuinamente novo — sem qualquer análogo nos dados de treino — e descobrir como abordá-lo do zero. Esse fosso não é uma nota de rodapé de marketing. É um fosso de 99,63 pontos percentuais entre o melhor desempenho do Gemini e a referência humana num benchmark especificamente concebido para o medir.

O prémio ARC de 2 milhões de dólares não foi reivindicado. O benchmark está aberto. O fosso permanece.

Perguntas Frequentes

Jensen Huang, da Nvidia, declarou que a AGI foi alcançada? Sim. A 23 de março de 2026, Huang disse no podcast de Lex Fridman: "Acho que é agora. Acho que alcançámos a AGI." A sua definição exige uma IA capaz de executar de forma autónoma tarefas complexas em vários passos e criar valor comercial — não a definição académica que exige generalização para situações inéditas.

O que mediu o ARC-AGI-3 e quais foram as pontuações? O ARC-AGI-3, lançado a 26 de março de 2026 pela ARC Prize Foundation, testa a IA em 135 ambientes interativos inéditos sem sobreposição com dados de treino. A métrica de pontuação (RHAE) também penaliza a ineficiência. Os humanos obtiveram 100%. O Gemini 3.1 Pro obteve 0,37% (a pontuação mais alta entre as IAs). O GPT-5.4 obteve 0,26%, o Claude Opus 4.6 obteve 0,25% e o Grok-4.20 obteve 0%.

Porque é que os modelos de IA têm um desempenho tão fraco no ARC-AGI-3? O benchmark elimina todas as vantagens do treino. Os modelos não conseguem fazer correspondência de padrões com exemplos anteriores porque nenhum existe. O ARC-AGI-3 exige generalização verdadeira — raciocinar do zero sobre ambientes inéditos — algo que as arquiteturas de IA atuais não conseguem fazer de forma fiável. A pontuação zero do Grok-4.20 mostra que o conhecimento memorizado, embora útil em benchmarks padrão, não traz qualquer benefício ao confrontar tipos de problemas genuinamente nunca vistos.

O que é o Prémio ARC e alguém já o ganhou? A ARC Prize Foundation está a oferecer 2 milhões de dólares a qualquer sistema de IA que iguale o desempenho humano no ARC-AGI-3. Até ao final de março de 2026, nenhum modelo se aproximou disso. O benchmark retém 110 dos 135 ambientes do acesso público para evitar o treino sobre dados de teste.

Fontes

  • Fortune — "Nvidia's Jensen Huang says 'We've achieved AGI.' But no one can agree on what that means"
  • Decrypt — "Is AGI Here? Not Even Close, New AI Benchmark Suggests"
  • Forbes — "Nvidia's Jensen Huang Says He Thinks 'We've Achieved AGI'"
  • Winbuzzer — "ARC-AGI-3 Offers $2M for AI Matching Human Reasoning"
  • ARC Prize Foundation — ARC-AGI-3 benchmark release, March 26, 2026
Publicado em March 31, 2026
Mais artigos
Novo Benchmark Coloca Modelos de IA Perto de Zero | Blog da Happycapy | Happycapy