ARC-AGI Semi-Private 데이터셋에 대한 계층적 추론 모델(HRM)의 독립적인 검증은 27M 파라미터 크기에 대해 ARC-AGI-1에서 32%, ARC-AGI-2에서 2%의 점수를 재현하여 인상적인 결과를 확인했습니다. 아블레이션 연구는 모델의 계층적 아키텍처가 유사한 크기의 트랜스포머와 비교할 때 최소한의 영향만 미치는 반면, 외부 루프 정제 프로세스가 상당한 성능 향상을 주도했음을 밝혔습니다.

  • HRM은 ARC-AGI-1에서 32%, ARC-AGI-2 Semi-Private 세트에서 2%를 달성했습니다.
  • 계층적 H-L 계산은 기본 트랜스포머와 비교하여 성능에 최소한의 기여만 했습니다.
  • 외부 루프 정제 프로세스가 성공의 주요 동인으로 확인되었으며, 특히 훈련 중에 두드러졌습니다.
  • 작업 간 전이 학습은 제한적인 이점만을 보였으며, 대부분의 성능은 특정 평가 작업을 암기하는 데 기인했습니다.
  • 사전 훈련 작업 증강은 중요했으며, 원래 논문에서 보고된 1,000개가 아닌 300개의 증강만 필요했습니다.

이러한 발견들은 HRM의 접근 방식이 본질적으로 "사전 훈련 없는 ARC-AGI"와 유사하며, 그 뇌 영감을 받은 계층적 아키텍처가 주요 차별화 요소라는 서사를 도전한다는 것을 시사합니다.