media NextBigFuture · hace 358 d

xAI Grok 4 lidera el benchmark Arc-AGI2 con un puntaje de 15.9% frente a GPT5

Traducido del English → Español

El modelo Grok 4 de xAI logra un puntaje de 15.9% en el benchmark Arc-AGI2, superando a GPT5 de OpenAI que obtuvo 9.9%.

Grok 4 tiene una ventaja significativa sobre GPT5 en el benchmark Arc-AGI2.
xAI planea lanzar Grok 5 para finales de 2025.
El entrenamiento de Grok 5 utilizará potencia computacional equivalente a aproximadamente 3 millones de Nvidia H100 o 550,000 chips B200.

Importancia 2/3 NextBigFuture xAI OpenAI Benchmark results

Benchmarks

Benchmark	Modelo	Puntuación
ARC-AGI 2	Grok 4	15.9%

Leer original

DeepSeek V4 Flash GA ocupa el mismo puesto que Sonnet 5 y Grok 4.5 en DeepSWE

DeepSeek afirma que su nuevo modelo de disponibilidad general, DeepSeek V4 Flash, alcanza una paridad de rendimiento con Anthropic's Sonnet 5 y xAI's Grok 4.5 en la prueba DeepSWE.

media Jeremy Berman (Substack) · hace 292 d

GPT-5 Pro resuelve un problema de nivel Tier 4 de FrontierMath, superando a Gemini 2.5 Deep Think

El GPT-5 Pro de OpenAI estableció un nuevo récord en la prueba de referencia FrontierMath Tier 4 al resolver un problema matemático de investigación adicional en comparación con el Gemini 2.5 Deep Think de Google. La evaluación implicó calificar manualmente tres configuraciones de modelos intensivas en computación en 50 problemas extremadamente difíciles desarrollados por matemáticos profesionales.

lab OpenAI News · hace 2 d · 6 vistas

Dos configuraciones de API triplicaron las puntuaciones de GPT-5.6 en ARC-AGI-3

Habilitar dos configuraciones específicas de API para GPT-5.6 resultó en un triple de sus puntuaciones de rendimiento en la benchmark ARC-AGI-3.

media Together AI Blog · hace 5 d · 1 vista

Kimi K3 supera a GPT-5.6 Sol en DeepSWE pass@4 y cuesta un 64% menos

Una comparación entre Kimi K3 y GPT-5.6 Sol en el benchmark DeepSWE revela que, aunque GPT-5.6 Sol lidera en calidad de intento único (72.7% frente a 68.5%), Kimi K3 logra puntuaciones pass@k más altas para k > 1 con un costo significativamente menor.

arxiv arXiv cs.CL · hace 11 d · 1 vista

Intern-BioBreaker revela riesgos físicos de bioseguridad en LLMs de vanguardia

Los investigadores desarrollaron Intern-BioBreaker, un modelo especializado de bio-red-teaming, para evaluar los riesgos biológicos de los grandes modelos de lenguaje de vanguardia acoplando pruebas de estrés computacional con validación en laboratorio húmedo. El estudio encontró que los modelos alineados pueden inducirse para proporcionar orientación operativa para tareas sensibles a la seguridad y generar salidas a nivel de secuencia con propiedades dañinas.