2026年3月に公開された生きた調査レポートは、Abstraction and Reasoning Corpus (ARC-AGI) ベンチマークの3つのバージョンにわたる82のアプローチを分析しています。この研究により、Opus 4.6のようなトップモデルが ARC-AGI-1 で93.0%の精度を達成する一方で、ARC-AGI-2 では68.8%、ARC-AGI-3 では13%にパフォーマンスが低下することが明らかになりました。

  • バージョン1から2にかけて、プログラム合成、ニューロシンボリック、ニューラルのパラダイムすべてで2〜3倍のパフォーマンス劣化が一貫して見られました。
  • 1年間でテストコストは390倍減少し、o3の4,500ドル/タスクから GPT-5.2 の12ドル/タスクに下落しましたが、これはテスト時の並列処理の削減を反映しています。
  • Kaggleの制約条件下で660M〜8Bパラメータのエントリーが競争力のある結果を出しており、知能はスキル習得効率であるという仮説を支えています。
  • ARC Prize 2025 の受賞者たちは、ARC-AGI-2 でわずか24%に到達するために数十万の合成例を必要としました。

著者らは、構成推論と対話的学習が未解決の課題であり、現在のシステムは真の流動性知能を示すのではなく、知識に縛られたままであると結論付けています。