ARC Prize 2025 대회는 새로 출시된 ARC-AGI-2 데이터셋을 대상으로 하여 1,455개 팀이 참가했으며, 사설 평가 세트에서 최고 점수 24%를 기록했습니다. 2025년 결과의 핵심 주제는 피드백 신호에 의해 안내되는 작업별 반복 프로그램 최적화를 포함하는 정제 루프의 출현입니다.
- 최상위 성능을 달성한 방법은 진화적 프로그램 합성 또는 상용 AI 시스템에 대한 애플리케이션 계층 정제를 활용했습니다.
- 제로 사전 학습 딥러닝 방법은 가중치 공간 정제를 사용하여 7M 파라미터의 소규모 네트워크로 경쟁력 있는 성능을 달성했습니다.
- 4개의 프론티어 연구소(Anthropic, Google DeepMind, OpenAI, xAI)가 공개 모델 카드에 ARC-AGI 성능을 보고하여 업계 표준으로 확립했습니다.
- 분석 결과 현재 프론티어 AI 추론은 지식 커버리지로 인해 제약받아 새로운 형태의 벤치마크 오염을 초래하는 것으로 나타났습니다.
이 보고서는 이러한 방법들을 조사하고 탐색, 계획, 기억, 목표 획득 및 정렬 능력을 요구하는 상호작용적 추론 과제를 도입할 ARC-AGI-3 를 미리 보여줍니다.