Tinjauan terhadap sistem penalaran AI mutakhir dari laboratorium termasuk OpenAI, DeepMind, xAI, DeepSeek, dan Anthropic mengungkapkan bahwa meskipun skalasi komputasi saat pengujian meningkatkan akurasi, hal tersebut secara signifikan mengurangi efisiensi. Analisis ini mengidentifikasi Pareto frontier untuk skor ARC-AGI-1 namun mencatat kegagalan total pada benchmark ARC-AGI-2 yang lebih menantang, menunjukkan keterbatasan umum di seluruh model utama.

  • Sistem penalaran modern mengandalkan inferensi berdurasi panjang, rekomposisi pengetahuan, dan pengambilan sampel CoT paralel untuk memperpanjang "waktu berpikir."
  • o3-medium/high dari OpenAI menawarkan akurasi tertinggi dengan biaya tinggi, sementara Gemini 2.5 Flash dari Google menyediakan keseimbangan antara akurasi dan biaya.
  • Grok 3 mini-low dari xAI menawarkan peningkatan akurasi yang moderat dibandingkan LLM murni dengan kebutuhan sumber daya yang lebih rendah.
  • ARC-AGI-2 tetap belum terpecahkan oleh semua sistem yang diuji, menunjukkan bahwa strategi skalasi saat ini tidak cukup untuk kemampuan AGI terobosan.

Temuan ini menunjukkan bahwa tidak ada pemenang universal tunggal dan bahwa sistem penalaran AI kurang memiliki kesesuaian produk-pasar yang kuat dibandingkan LLM murni karena inkonsistensi API dan hambatan adopsi.