2026년 3월에 발표된 라이브 서베이(living survey)는 추상화 및 추론 코퍼스(ARC-AGI) 벤치마크의 세 가지 버전 전반에 걸친 82가지 접근 방식을 분석합니다. 이 연구는 Opus 4.6과 같은 최상위 모델이 ARC-AGI-1에서 93.0%의 정확도를 달성하는 반면, ARC-AGI-2에서는 68.8%, ARC-AGI-3에서는 13%로 성능이 떨어지는 것을 보여줍니다.

  • 버전 1에서 2로 넘어가면서 프로그램 합성, 뉴로심볼릭 및 신경망 패러다임 전반에 걸쳐 2~3배의 성능 저하가 일관되게 나타납니다.
  • 테스트 비용은 1년 동안 390배 감소하여 o3의 작업당 4,500달러에서 GPT-5.2의 작업당 12달러로 떨어졌으나, 이는 테스트 시간 병렬 처리의 감소를 반영합니다.
  • Kaggle 제약 조건 하에서 660M~8B 파라미터를 가진 엔트리가 경쟁력 있는 결과를 달성하여, 지능이 기술 습득 효율성이라는 가설을 지지합니다.
  • ARC Prize 2025 우승자들은 ARC-AGI-2에서 단 24%에 도달하기 위해 수십만 개의 합성 예시가 필요했습니다.

저자들은 구성적 추론과 상호작용 학습이 여전히 해결되지 않은 과제이며, 현재 시스템은 진정한 유동 지능을 보여주기보다는 지식에 묶여 있다고 결론짓습니다.