ARC Prize Foundation은 인간에게는 쉽지만 현재 AI 시스템에는 어려운 과제를 제시하여 유동적 지능을 측정하도록 설계된 새로운 벤치마크인 ARC-AGI-2를 출시했습니다. 이 벤치마크와 함께 조직은 효율적인 일반 지능에 대한 오픈소스 발전을 촉진하기 위해 ARC Prize 2025 대회를 발표했습니다.
ARC-AGI-2는 전임자 대비 난이도를 크게 높였으며, 순수 LLM은 0%의 점수를 기록하고 공개된 추론 시스템은 한 자리 수의 백분율만 달성했습니다. 이 벤치마크는 심볼 해석, 구성적 추론 및 문맥적 규칙 적용이 필요한 각 평가 세트당 120개의 과제로 구성되어 있으며(기존 100개에서 증가), 인간 참가자는 두 번 이하의 시도만으로 모든 과제를 해결했으며 이는 인간의 적응력과 현재 AI 능력 간의 격차를 강조합니다.
이 이니셔티브는 확장으로 인해 발생하지 않는 능력 격점에 초점을 맞추어 AGI 연구의 나침반 역할을 하며, 연구자들이 일반 지능을 위한 새로운 아이디어를 개발하도록 영감을 주는 것을 목표로 합니다.