Исследователи предлагают гипотезу «Меньше — значит больше» для рассуждений, демонстрируя, что сложное математическое мышление в больших языковых моделях может возникать на основе минимального количества стратегически подобранных примеров, а не массивных наборов данных. Благодаря простому дообучению с учителем их модель LIMO достигает точности 63,3% на AIME24 и 95,6% на MATH500.

  • Превосходит предыдущие модели, прошедшие дообучение, на 6,5% по AIME24 и на 59,2% по MATH500, используя лишь 1% обучающих данных, необходимых предыдущим подходам.
  • Демонстрирует сильную обобщающую способность за пределами распределения с абсолютным улучшением на 45,8% в различных бенчмарках, превосходя модели, обученные на 100 раз больше данных.

Полученные результаты указывают на то, что в базовых моделях с комплексными предварительно обученными знаниями сложные рассуждения вызываются полнотой этой базы знаний и эффективностью примеров послеобучения как когнитивных шаблонов.