arxiv Moonshot AI (arXiv) · há 550 d

GAIR-NLP lança LIMO, alcançando forte raciocínio matemático com 817 amostras

Traduzido do English → Português (BR)

A GAIR-NLP apresenta o LIMO, um modelo que demonstra que o raciocínio matemático complexo pode ser efetivamente elicidado usando apenas 817 amostras de treinamento curadas. Esta abordagem desafia a suposição convencional de que o ajuste fino supervisionado requer conjuntos de dados massivos para evitar memorização.

O LIMO atinge 57,1% de precisão no benchmark AIME e 94,8% no MATH.
O modelo usa apenas 1% dos dados de treinamento exigidos por modelos SFT fortes anteriores.
Ele demonstra generalização fora da distribuição excepcional, melhorando o desempenho em 40,5 pontos percentuais absolutos através de 10 benchmarks diversos.
Os resultados superam modelos treinados com 100 vezes mais dados, apoiando a "Hipótese do Raciocínio Menos-Eh-Mais".

Os autores propõem que capacidades sofisticadas de raciocínio emergem quando modelos base aproveitam conhecimento pré-treinado rico por meio de templates cognitivos mínimos e precisamente orquestrados.

Importância 2/3 Moonshot AI (arXiv) Zhipu AI Reasoning models Research paper

Benchmarks

Benchmark	Modelo	Pontuação
AIME 2024	LIMO	57.1%
MATH-500	LIMO	94.8%

Ler original

Sonda nas representações internas do Eternis-Forecaster 8B revela que melhoram a calibração e expõem problemas de fidelidade no raciocínio em cadeia

Pesquisadores investigaram se as representações internas em grandes modelos de linguagem fornecem uma janela mais direta para calibração e fidelidade do que o raciocínio em cadeia (CoT). Trabalhando com Eternis-Forecaster 8B no OpenForesight, eles treinaram sondas de agrupamento de representações em ativações intermediárias que alcançaram calibração substancialmente melhor em comparação com as saídas padrão do modelo.

media Don't Worry About the Vase · há 5 d · 5 visualizações

Astra da OpenAI resolve 10 grandes problemas abertos de matemática

A OpenAI divulgou os resultados de seu modelo interno não lançado, o Astra, que conseguiu resolver dez problemas abertos significativos em matemática. As soluções foram geradas pelo modelo e posteriormente formalizadas em certificados Lean por pesquisadores humanos.

blog Simon Willison · há 8 d · 12 visualizações

Modelo Astra da OpenAI resolve dez problemas matemáticos de longa data usando GPT-5.6 Sol

A OpenAI lançou soluções para dez problemas de matemática e ciência da computação teórica que não tinham visto progresso em seus resultados principais por pelo menos uma década, usando uma versão interna de seu próximo modelo principal, Astra.

arxiv arXiv cs.CL · há 12 d · 2 visualizações

PIVOT compartilha varreduras de prefixo entre grupos de consulta para acelerar a atenção esparsa em nível de token

O PIVOT (Proxy Indexing Via One full-prefix Traversal) é uma substituição plug-and-play sem treinamento para o indexador DeepSeek Sparse Attention (DSA) que reduz a redundância computacional ao compartilhar uma única varredura de prefixo entre um grupo de consultas próximas. Em vez de pontuar cada token precedente para cada consulta individualmente, o PIVOT agrega o grupo em uma única consulta proxy para obter um conjunto de candidatos, do qual os top-k tokens são selecionados para cada consulta.

arxiv arXiv cs.CL · há 12 d

Framework Zing melhora a inteligência social de LLMs por meio do benchmark SoMBench e fundamentação Actio

O relatório apresenta o Zing, um framework integrado projetado para aprimorar a inteligência social de grandes modelos de linguagem ao medir, internalizar e fundamentar capacidades sociais. Os autores apresentam o SoMBench, um benchmark fundamentado na psicologia que abrange 17 dimensões secundárias e 3.481 instâncias verificadas por especialistas, revelando que os LLMs atuais têm uma margem significativa de melhoria, sem nenhum modelo alcançar desempenho próximo ao teto.