새로운 ARC-AGI-2 벤치마크 솔버는 추론 후보 간 선택을 개선하기 위해 모달리티 기반 검색과 전체적 트레이스 판정을 사용합니다. 텍스트, 이미지, 코드 채널 전반에 걸쳐 다양한 출력을 생성하고 단일 프롬프트 내에서 판정 모델을 사용하여 이를 비교함으로써, 다수 답변이 틀린 경우에도 올바른 소수 가설을 reliably하게 식별할 수 있습니다.

  • 반비공개 평가 세트에서 72.9%의 성능을 달성하며, 작업당 $38.99로 GPT-5.2 Pro (54.2%) 및 Gemini 3 Pro (54.0%)를 능가합니다.
  • 공개 평가 세트에서는 작업당 $19.69로 76.1%에 도달합니다.
  • 저자는 처방형 프롬프팅 템플릿과 반복적 정교화가 가설의 다양성을 체계적으로 감소시키고 성능을 저하시킨다고 문서화했습니다.

이 연구는 추상적 추론 작업에서 가설의 다양성을 보존하는 중요성을 강조하며, 추론 모달리티를 검색 연산자로 사용하는 것이 표준 자기일관성(self-consistency) 방법보다 더 효과적임을 보여줍니다.