Los investigadores proponen la Hipótesis del Razonamiento Menos-Es-Más, demostrando que el razonamiento matemático sofisticado en modelos de lenguaje grandes puede emerger a partir de ejemplos mínimos y estratégicamente diseñados en lugar de conjuntos de datos masivos. Mediante un ajuste fino supervisado simple, su modelo LIMO alcanza una precisión del 63,3% en AIME24 y del 95,6% en MATH500.

  • Supera a los modelos ajustados finamente anteriores en un 6,5% en AIME24 y un 59,2% en MATH500 mientras usa solo el 1% de los datos de entrenamiento requeridos por enfoques previos.
  • Exhibe una generalización fuera de distribución fuerte con una mejora absoluta del 45,8% en diversos benchmarks, superando a modelos entrenados con 100 veces más datos.

Los hallazgos sugieren que en modelos base con conocimiento preentrenado integral, el razonamiento complejo es elicidado por la integridad de esa base de conocimientos y la efectividad de los ejemplos post-entrenamiento como plantillas cognitivas.