LIMO mencapai akurasi penalaran tinggi hanya dengan menggunakan 1% data pelatihan sebelumnya

Para peneliti mengusulkan Hipotesis Penalaran Kurang-Ada-Lebih, menunjukkan bahwa penalaran matematika yang canggih dalam model bahasa besar dapat muncul dari contoh minimal yang dirancang secara strategis, bukan dataset masif. Melalui fine-tuning terawasi sederhana, model LIMO mereka mencapai akurasi 63,3% pada AIME24 dan 95,6% pada MATH500.

• Melebihi model fine-tuned sebelumnya sebesar 6,5% pada AIME24 dan 59,2% pada MATH500 sambil hanya menggunakan 1% data pelatihan yang diperlukan oleh pendekatan sebelumnya.
• Menunjukkan generalisasi out-of-distribution yang kuat dengan peningkatan absolut 45,8% di berbagai benchmark, mengalahkan model yang dilatih dengan data 100 kali lebih banyak.

Temuan ini menunjukkan bahwa pada model fondasi dengan pengetahuan pra-pelatihan yang komprehensif, penalaran kompleks dipicu oleh kelengkapan basis pengetahuan tersebut dan efektivitas contoh pasca-pelatihan sebagai templat kognitif.