LIMO, 이전 학습 데이터의 단 1%만으로 높은 추론 정확도 달성

연구자들은 적음은 많음이다(Less-Is-More) 추론 가설을 제안하며, 대규모 언어 모델의 정교한 수학적 추론이 방대한 데이터셋이 아닌 최소한의 전략적으로 설계된 예시에서 발생할 수 있음을 입증했습니다. 간단한 감독 세밀 조정(supervised fine-tuning)을 통해 그들의 모델 LIMO는 AIME24에서 63.3%, MATH500에서 95.6%의 정확도를 달성했습니다.

• 이전 접근 방식이 필요로 하는 학습 데이터의 단 1%만 사용하면서 AIME24에서 기존 세밀 조정 모델을 6.5%, MATH500에서 59.2% 상회합니다.
• 다양한 벤치마크에서 절대적 개선도 45.8%를 보이는 강력한 분포 밖 일반화(out-of-distribution generalization)를 발휘하며, 100배 더 많은 데이터로 훈련된 모델을 능가합니다.

이 결과는 포괄적인 사전 학습 지식을 갖춘 파운데이션 모델에서 복잡한 추론이 해당 지식베이스의 완전성과 인지 템플릿으로서 사후 학습 예시의 효과성에 의해 유도된다는 것을 시사합니다.