LIMO atteint une haute précision de raisonnement en utilisant seulement 1 % des données d'entraînement précédentes

Les chercheurs proposent l'hypothèse du Raisonnement Moins-Est-Plus, démontrant qu'un raisonnement mathématique sophistiqué dans les grands modèles de langage peut émerger d'exemples minimaux et stratégiquement conçus plutôt que de vastes ensembles de données. Grâce à un ajustement fin supervisé simple, leur modèle LIMO atteint 63,3 % de précision sur AIME24 et 95,6 % sur MATH500.

• Surpasse les modèles précédemment ajustés fins de 6,5 % sur AIME24 et 59,2 % sur MATH500 tout en utilisant seulement 1 % des données d'entraînement requises par les approches antérieures.
• Fait preuve d'une généralisation hors distribution forte avec une amélioration absolue de 45,8 % sur divers benchmarks, surpassant les modèles entraînés sur 100 fois plus de données.

Les résultats suggèrent que dans les modèles de base dotés de connaissances pré-entraînées complètes, le raisonnement complexe est elicité par l'exhaustivité de cette base de connaissances et l'efficacité des exemples post-entraînement en tant que modèles cognitifs.