2026年3月发布的一项持续更新的调查报告分析了抽象与推理语料库(ARC-AGI)基准测试三个版本中的82种方法。研究发现,尽管Opus 4.6等顶级模型在ARC-AGI-1上达到了93.0%的准确率,但在ARC-AGI-2上的性能降至68.8%,在ARC-AGI-3上则仅为13%。

  • 从版本1到版本2,程序合成、神经符号和神经网络范式的性能下降幅度一致为2-3倍。
  • 测试成本在一年内下降了390倍,o3的任务成本从4,500美元降至GPT-5.2的12美元,但这反映了测试时并行度的降低。
  • Kaggle竞赛中参数规模为660M-8B的参赛作品取得了具有竞争力的结果,支持了“智能即技能获取效率”这一论点。
  • ARC Prize 2025的获奖者需要数十万个合成示例才能在ARC-AGI-2上仅达到24%的准确率。

作者得出结论,组合推理和交互式学习仍然是未解决的挑战,当前系统仍受限于知识,未能展现出真正的流体智能。