Benchmark Baru Beri Skor Nyaris Nol untuk Model AI

Catatan: Artikel ini membahas perdebatan yang kontroversial dengan elemen spekulatif. Peristiwa yang dijelaskan mencerminkan posisi yang diambil oleh individu-individu yang disebutkan; interpretasi mengenai status AGI masih diperdebatkan secara aktif.

Ringkasan

Pada 23 Maret 2026, CEO Nvidia Jensen Huang mengatakan kepada Lex Fridman bahwa kecerdasan umum buatan (artificial general intelligence) telah tercapai. Pada 26 Maret — tiga hari kemudian — ARC Prize Foundation merilis ARC-AGI-3: 135 lingkungan interaktif baru yang belum pernah dilihat oleh model AI mana pun selama pelatihan. Manusia menyelesaikannya dengan efisiensi 100%. Model AI terbaik yang diuji mendapatkan skor 0,37%. Grok-4.20 mendapatkan skor tepat nol. Perdebatannya bukan tentang kemampuan. Ini tentang apa arti "umum" (general).

Skor-skor

Apa yang Dikatakan Jensen Huang

Pada 23 Maret, Huang membuat pernyataan publik paling definitif dalam kariernya mengenai topik ini:

"Saya pikir sekarang saatnya. Saya pikir kita telah mencapai AGI." — Jensen Huang, CEO Nvidia, Lex Fridman Podcast, 23 Maret 2026

Definisi AGI menurut Huang bersifat operasional: sebuah AI yang mampu menjalankan alur kerja multi-langkah yang kompleks, menulis kode berkualitas produksi, dan — pada dasarnya — menjalankan sebuah perusahaan teknologi hingga mencapai valuasi $1 miliar tanpa memerlukan manusia untuk mengawasi setiap langkahnya. Dengan standar tersebut, ia berpendapat, Claude Code, GPT-5.4 dengan penggunaan alat (tool use), dan konfigurasi multi-agen Grok sudah memenuhi kriteria tersebut.

Pernyataan ini muncul di CNBC, Forbes, Fortune, dan Yahoo Finance dalam beberapa jam. Respons dari komunitas riset bersifat skeptis.

Tiga Hari Kemudian: ARC-AGI-3

François Chollet — pencipta benchmark ARC-AGI asli dan salah satu pendiri ARC Prize Foundation — menerbitkan ARC-AGI-3 pada 26 Maret. Waktu rilis ini terkait dengan deklarasi Huang bukanlah kebetulan.

ARC-AGI-3 dibangun untuk menguji hal yang justru diabaikan oleh definisi Huang: generalisasi yang sesungguhnya. Benchmark ini menghadirkan 135 lingkungan interaktif kepada AI yang tidak mungkin muncul dalam data pelatihan mana pun — ruang masalah baru yang membutuhkan eksplorasi dan penalaran dari nol, tanpa instruksi apa pun. Metrik penilaiannya, Relative Human Action Efficiency (RHAE), juga memberikan penalti atas inefisiensi: selesaikan teka-teki dengan sepuluh kali lebih banyak aksi dibandingkan yang dibutuhkan manusia, dan Anda hanya mendapatkan 1% nilai untuk lingkungan tersebut.

Untuk mencegah kecurangan, 110 dari 135 lingkungan tidak dibuka untuk akses publik. Hanya 25 yang terbuka untuk pengujian. Belum ada model yang mendekati skor yang bisa mengklaim hadiah $2 juta.

Mengapa Skornya Sangat Rendah

Kesenjangan performa ini tidak mengherankan bagi para peneliti yang mempelajari generalisasi AI. Model-model AI terkini sangat mampu dalam tugas-tugas yang menyerupai distribusi data pelatihannya. Mereka dapat menulis kode yang canggih, menyusun dokumen yang kompleks, dan menyelesaikan soal matematika setara atau di atas level PhD — karena mereka telah melihat jutaan contoh tugas semacam itu.

ARC-AGI-3 sepenuhnya menghilangkan keunggulan tersebut. Lingkungan-lingkungannya dirancang untuk tidak mirip dengan apa pun dalam dataset mana pun. Tidak ada instruksi. Tidak ada data pelatihan sebelumnya yang sesuai dengan struktur setiap teka-teki. Performa membutuhkan jenis penalaran yang fleksibel dan eksploratif yang dikembangkan manusia secara alami, dan yang tidak dimiliki oleh arsitektur AI saat ini.

Skor nol Grok sangat mengungkapkan sesuatu. Grok-4.20 memiliki performa baik pada tes standar yang mengukur pengetahuan yang dihafal dan pencocokan pola (pattern matching). Pada ARC-AGI-3, ia mendapatkan skor nol pada setiap lingkungan baru — menunjukkan tidak ada kemampuan untuk melakukan generalisasi di luar pelatihan, bahkan tidak cukup untuk melakukan langkah eksploratif yang produktif.

Dua Definisi, Satu Perdebatan yang Belum Terselesaikan

Perbedaan pendapat antara Huang dan Chollet bersifat struktural, bukan faktual. Mereka mengukur hal yang berbeda.

"Jika sebuah sistem tidak dapat melakukan generalisasi terhadap situasi baru tanpa instruksi, maka itu adalah autocomplete yang mahal — bukan kecerdasan umum." — François Chollet, ARC Prize Foundation, Maret 2026

Yahoo Finance dan Fortune keduanya mencatat dalam pemberitaan mereka bahwa deklarasi Huang dibuat oleh CEO perusahaan yang menjual perangkat keras yang menjadi tenaga penggerak seluruh pengembangan AI — sebuah konflik kepentingan material yang mempengaruhi cara klaimnya harus dinilai.

Di Mana Para Pemimpin AI Lainnya Berdiri

Apa Artinya Ini Secara Praktis

Bagi orang-orang yang menggunakan alat AI saat ini, perdebatan ini agak bersifat akademis. Model-model saat ini sungguh-sungguh kuat untuk tugas-tugas yang telah mereka pelajari: menulis, membuat kode, sintesis riset, analisis, penalaran dalam struktur masalah yang sudah familier.

Yang tidak dapat mereka lakukan secara andal adalah menghadapi jenis masalah yang benar-benar baru — yang tidak memiliki analog dalam data pelatihan — dan mencari cara untuk mengatasinya dari nol. Kesenjangan itu bukan sekadar catatan pemasaran. Ini adalah kesenjangan sebesar 99,63 poin persentase antara performa terbaik Gemini dan garis dasar manusia pada sebuah benchmark yang dirancang khusus untuk mengukurnya.

Hadiah ARC senilai $2 juta belum diklaim. Benchmark-nya terbuka. Kesenjangannya masih ada.

Pertanyaan yang Sering Diajukan

Apakah Jensen Huang dari Nvidia mendeklarasikan bahwa AGI telah tercapai? Ya. Pada 23 Maret 2026, Huang mengatakan di podcast Lex Fridman: "Saya pikir sekarang saatnya. Saya pikir kita telah mencapai AGI." Definisinya mensyaratkan sebuah AI yang dapat menjalankan tugas multi-langkah yang kompleks secara otonom dan menciptakan nilai komersial — bukan definisi akademis yang mensyaratkan generalisasi terhadap situasi baru.

Apa yang diukur oleh ARC-AGI-3 dan berapa skornya? ARC-AGI-3, yang dirilis pada 26 Maret 2026 oleh ARC Prize Foundation, menguji AI pada 135 lingkungan interaktif baru tanpa tumpang tindih dengan data pelatihan. Metrik penilaian (RHAE) juga memberikan penalti atas inefisiensi. Manusia mendapatkan skor 100%. Gemini 3.1 Pro mendapatkan skor 0,37% (skor AI tertinggi). GPT-5.4 mendapatkan skor 0,26%, Claude Opus 4.6 mendapatkan skor 0,25%, dan Grok-4.20 mendapatkan skor 0%.

Mengapa model-model AI mendapatkan skor yang sangat buruk pada ARC-AGI-3? Benchmark ini menghilangkan seluruh keunggulan dari pelatihan. Model-model tidak dapat melakukan pencocokan pola terhadap contoh-contoh sebelumnya karena tidak ada yang tersedia. ARC-AGI-3 membutuhkan generalisasi yang sesungguhnya — penalaran dari nol mengenai lingkungan baru — yang tidak dapat dilakukan secara andal oleh arsitektur AI saat ini. Skor nol Grok-4.20 menunjukkan bahwa pengetahuan yang dihafal, meskipun bermanfaat pada benchmark standar, tidak memberikan manfaat sama sekali ketika menghadapi jenis masalah yang benar-benar belum pernah dilihat.

Apa itu ARC Prize dan apakah ada yang sudah memenangkannya? ARC Prize Foundation menawarkan $2 juta bagi sistem AI mana pun yang dapat menyamai performa manusia pada ARC-AGI-3. Hingga akhir Maret 2026, belum ada model yang mendekati. Benchmark ini menahan 110 dari 135 lingkungan dari akses publik untuk mencegah pelatihan pada data uji.

Sumber

• Fortune — "Nvidia's Jensen Huang says 'We've achieved AGI.' But no one can agree on what that means"
• Decrypt — "Is AGI Here? Not Even Close, New AI Benchmark Suggests"
• Forbes — "Nvidia's Jensen Huang Says He Thinks 'We've Achieved AGI'"
• Winbuzzer — "ARC-AGI-3 Offers $2M for AI Matching Human Reasoning"
• ARC Prize Foundation — ARC-AGI-3 benchmark release, March 26, 2026