ARC-AGI-1 Public Training 세트에서 훈련된 OpenAI의 새로운 o3 시스템은 $10k 컴퓨트 제한 내에서 Semi-Private Evaluation 세트에서 75.7%의 점수를, 고컴퓨트 구성으로 87.5%의 점수를 기록했습니다.

  • 고효율 점수는 ARC-AGI-Pub 규칙에 따라 공개 리더보드에서 1위에 해당합니다.
  • 테스트는 두 가지 컴퓨트 수준에서 수행되었습니다: 고효율용 6개 샘플, 저효율용 1024개 샘플(172배 컴퓨트).
  • OpenAI는 테스트된 버전이 공식 출시된 o3와 다르다고 확인했으며, 업데이트된 결과는 추후 공개될 예정입니다.

ARC Prize는 이를 AI 능력의 중요한 단계적 증가로 보며, 이전 GPT 패밀리 모델에서는 볼 수 없었던 새로운 작업 적응 능력을 보여줍니다.