LIMO alcança alta precisão de raciocínio usando apenas 1% dos dados de treinamento anteriores

Pesquisadores propõem a Hipótese do Raciocínio Menos-É-Mais, demonstrando que o raciocínio matemático sofisticado em grandes modelos de linguagem pode emergir de exemplos mínimos e estrategicamente projetados, em vez de conjuntos de dados massivos. Através de ajuste fino supervisionado simples, seu modelo LIMO alcança 63,3% de precisão no AIME24 e 95,6% no MATH500.

• Supera modelos ajustados finamente anteriores em 6,5% no AIME24 e 59,2% no MATH500 enquanto usa apenas 1% dos dados de treinamento exigidos por abordagens anteriores.
• Exibe forte generalização fora da distribuição com uma melhoria absoluta de 45,8% em diversos benchmarks, superando modelos treinados com 100 vezes mais dados.

As descobertas sugerem que em modelos fundamentais com conhecimento pré-treinado abrangente, o raciocínio complexo é elicidado pela completude dessa base de conhecimento e pela eficácia dos exemplos pós-treinamento como modelos cognitivos.