독립 연구자가 진화적 테스트 타임 컴퓨팅 아키텍처를 통해 진화된 자연어 지시사항으로 Python 코드 생성을 대체하여 ARC-AGI v2 벤치마크에서 이전 최고 기록인 25%를 뛰어넘는 29.4%의 새로운 최상위 점수를 달성했습니다.
이 시스템은 추상적 패턴 인식 작업을 해결하기 위한 평문 영어 지시사항을 생성하는 데 Grok-4를 사용하며, 이는 개별 및 풀링된 수정 주기를 통해 테스트되고 정제됩니다. 이 접근 방식은 ARC-AGI v1에서 작업당 $8.42의 비용으로 79.6%의 점수를 얻어 OpenAI의 o3 preview보다 25배 더 효율적입니다.
저자는 LLM이 훈련 분포 외부에서 논리가 실패하는 "데드 리조닝 존" 때문에 일반화에 어려움을 겪는다고 주장하며, 인간 유사 추론과 현재 AI 능력 사이의 격차를 해소하기 위한 방법으로 자연어 지시사항을 진화시키는 것을 제안합니다.