arxiv Moonshot AI (arXiv) · há 916 d

DeepSeekMath 7B alcança 51,7% no benchmark MATH usando GRPO e dados curados

Traduzido do English → Português (BR)

O artigo DeepSeekMath apresenta um modelo de linguagem aberto com 7B de parâmetros projetado para aprimorar as capacidades de raciocínio matemático. O modelo é criado continuando o pré-treinamento do DeepSeek-Coder-Base-v1.5 com 120B de tokens relacionados a matemática do Common Crawl, junto com dados de linguagem natural e código.

DeepSeekMath 7B pontua 51,7% no benchmark MATH de nível competitivo sem kits de ferramentas externos ou técnicas de votação.
A consistência interna sobre 64 amostras atinge 60,9% no benchmark MATH.
O desempenho é atribuído a um pipeline curado de seleção de dados e Otimização Relativa de Política em Grupo (GRPO).
GRPO é uma variante da Otimização de Política Próxima que melhora o raciocínio enquanto otimiza o uso de memória.

Os autores consideram isso significativo porque o modelo se aproxima do nível de desempenho de modelos proprietários como Gemini-Ultra e GPT-4.

Importância 1/3 Moonshot AI (arXiv) DeepSeek Reasoning models Research paper

Benchmarks

Benchmark	Modelo	Pontuação
MATH-500	DeepSeekMath 7B	51.7%

Ler original

Laboratório Simple Scaling lança s1-32B com escalonamento no momento do teste via forçamento de orçamento

O laboratório Simple Scaling apresenta o s1-32B, um modelo de raciocínio que alcança desempenho robusto por meio de ajuste fino supervisionado em um conjunto de dados curado de 1.000 amostras e uma técnica chamada forçamento de orçamento. Essa abordagem controla o poder computacional no momento do teste terminando o processo de pensamento do modelo ou adicionando "Wait" para estendê-lo, permitindo que o modelo verifique suas respostas.

media Don't Worry About the Vase · há 5 d · 5 visualizações

Astra da OpenAI resolve 10 grandes problemas abertos de matemática

A OpenAI divulgou os resultados de seu modelo interno não lançado, o Astra, que conseguiu resolver dez problemas abertos significativos em matemática. As soluções foram geradas pelo modelo e posteriormente formalizadas em certificados Lean por pesquisadores humanos.

blog Simon Willison · há 8 d · 12 visualizações

Modelo Astra da OpenAI resolve dez problemas matemáticos de longa data usando GPT-5.6 Sol

A OpenAI lançou soluções para dez problemas de matemática e ciência da computação teórica que não tinham visto progresso em seus resultados principais por pelo menos uma década, usando uma versão interna de seu próximo modelo principal, Astra.

arxiv arXiv cs.CL · há 12 d · 2 visualizações

PIVOT compartilha varreduras de prefixo entre grupos de consulta para acelerar a atenção esparsa em nível de token

O PIVOT (Proxy Indexing Via One full-prefix Traversal) é uma substituição plug-and-play sem treinamento para o indexador DeepSeek Sparse Attention (DSA) que reduz a redundância computacional ao compartilhar uma única varredura de prefixo entre um grupo de consultas próximas. Em vez de pontuar cada token precedente para cada consulta individualmente, o PIVOT agrega o grupo em uma única consulta proxy para obter um conjunto de candidatos, do qual os top-k tokens são selecionados para cada consulta.

arxiv arXiv cs.AI · há 17 d · 1 visualização

PoTRE apresenta estrutura multiagente heterogênea para raciocínio em tempo de teste

Os autores apresentam o PoTRE (Poly-Topological Reasoning Ensembles), uma estrutura projetada para abordar as limitações da solicitação padrão de fluxo único em tarefas complexas de raciocínio. O PoTRE desacopla a inferência em quatro agentes distintos: um Agente de Refinamento Adversarial, um Agente de Planejamento Estratégico Hierárquico, um Agente de Busca Espectral e um Agente de Cadeia Direta.