arxiv Moonshot AI (arXiv) · hace 916 d

DeepSeekMath 7B alcanza 51,7% en el benchmark MATH usando GRPO y datos curados

Traducido del English → Español

El artículo de DeepSeekMath presenta un modelo de lenguaje abierto de 7B parámetros diseñado para mejorar las capacidades de razonamiento matemático. El modelo se crea continuando el preentrenamiento de DeepSeek-Coder-Base-v1.5 con 120B tokens relacionados con matemáticas de Common Crawl, junto con datos de lenguaje natural y código.

DeepSeekMath 7B obtiene un 51,7% en el benchmark MATH a nivel competitivo sin kits de herramientas externos ni técnicas de votación.
La consistencia interna sobre 64 muestras alcanza el 60,9% en el benchmark MATH.
El rendimiento se atribuye a una canalización curada de selección de datos y Optimización Relativa de Política Grupal (GRPO).
GRPO es una variante de la Optimización de Política Proximaria que mejora el razonamiento mientras optimiza el uso de memoria.

Los autores consideran esto significativo porque el modelo se acerca al nivel de rendimiento de modelos propietarios como Gemini-Ultra y GPT-4.

Importancia 1/3 Moonshot AI (arXiv) DeepSeek Reasoning models Research paper

Benchmarks

Benchmark	Modelo	Puntuación
MATH-500	DeepSeekMath 7B	51.7%

Leer original

Simple Scaling Lab lanza s1-32B con escalado en tiempo de prueba mediante forzamiento de presupuesto

El laboratorio Simple Scaling presenta s1-32B, un modelo de razonamiento que logra un rendimiento sólido mediante ajuste fino supervisado en un conjunto de datos curado de 1.000 muestras y una técnica llamada forzamiento de presupuesto (budget forcing). Este enfoque controla el cómputo en tiempo de prueba ya sea terminando el proceso de pensamiento del modelo o añadiendo "Wait" para extenderlo, permitiendo que el modelo verifique sus respuestas.

media Don't Worry About the Vase · hace 5 d · 5 vistas

Astra de OpenAI resuelve 10 grandes problemas abiertos de matemáticas

OpenAI ha publicado los resultados de su modelo interno no lanzado, Astra, que resolvió con éxito diez problemas importantes y abiertos en matemáticas. Las soluciones fueron generadas por el modelo y posteriormente formalizadas en certificados Lean por investigadores humanos.

blog Simon Willison · hace 8 d · 12 vistas

El modelo Astra de OpenAI resuelve diez problemas matemáticos de larga data usando GPT-5.6 Sol

OpenAI ha publicado soluciones a diez problemas de matemáticas y ciencias de la computación teórica que no habían visto progreso en sus resultados principales durante al menos una década, utilizando una versión interna de su próximo modelo principal, Astra.

arxiv arXiv cs.CL · hace 12 d · 2 vistas

PIVOT comparte escaneos de prefijo entre grupos de consultas para acelerar la atención dispersa a nivel de token

PIVOT (Proxy Indexing Via One full-prefix Traversal) es una solución sin entrenamiento y de inserción directa para el indexador DeepSeek Sparse Attention (DSA) que reduce la redundancia computacional compartiendo un solo escaneo de prefijo entre un grupo de consultas cercanas. En lugar de puntuar cada token precedente para cada consulta individualmente, PIVOT agrega el grupo en una única consulta proxy para obtener un conjunto candidato, del cual se seleccionan los top-k tokens para cada consulta.

arxiv arXiv cs.AI · hace 17 d · 1 vista

PoTRE presenta un marco de agentes múltiples heterogéneo para el razonamiento en tiempo de prueba

Los autores presentan PoTRE (Poly-Topological Reasoning Ensembles), un marco diseñado para abordar las limitaciones del prompting estándar de flujo único en tareas de razonamiento complejas. PoTRE desacopla la inferencia en cuatro agentes distintos: un Agente de Refinamiento Adversarial, un Agente de Planificación Estratégica Jerárquica, un Agente de Búsqueda Espectral y un Agente de Cadena Directa.