media LessWrong · hace 510 d

La evaluación de Epoch de o3-mini en FrontierMath arroja 11% frente al 32% de OpenAI

Traducido del English → Español

OpenAI afirma que su modelo o3-mini, con alta capacidad de razonamiento y acceso a herramientas de Python, obtiene una puntuación del 32% en la prueba FrontierMath. Sin embargo, la evaluación oficial e independiente de Epoch informa una puntuación significativamente menor, de solo el 11%.

Epoch construyó la prueba y tiene mejores incentivos para una puntuación precisa.
OpenAI informó una puntuación del 28% en el nivel de problemas más difícil, lo cual es sospechosamente cercano a su puntuación general.
Epoch ha publicado información extensa sobre su infraestructura de pruebas y datos, mientras que OpenAI ha publicado poco.
La discrepancia puede deberse a que OpenAI utiliza un andamiaje interno más potente, más cómputo durante la prueba o un subconjunto diferente de problemas (180 frente a 290).

La diferencia en los resultados destaca la importancia de las metodologías de evaluación transparentes y la verificación independiente en la evaluación de modelos de lenguaje grandes.

Importancia 2/3 LessWrong OpenAI Benchmark results Evaluation & benchmarks

Benchmarks

Benchmark	Modelo	Puntuación
FrontierMath	o3-mini with high reasoning and a Python tool	32%

Artículos relacionados

arxiv arXiv cs.CL · hace 35 d

La evaluación zero-shot muestra que Gemini lidera a los LLM en la taxonomía de emociones de 13 clases

Un estudio evaluó tres modelos de lenguaje grandes comerciales: Claude (claude-sonnet-4-6), ChatGPT (GPT-5.4) y Gemini (gemini-2.5-flash) en una tarea de clasificación fina de emociones zero-shot utilizando una muestra estratificada de 1.000 oraciones del conjunto de datos boltuix/emotions.

arxiv arXiv cs.CL · hace 51 d · 2 vistas

Evaluación de sistemas de revisión agénticos para investigación asistida por IA

Un estudio evalúa cuatro sistemas de revisión de IA en seis modelos de lenguaje, encontrando que OpenAIReview con GPT-5.5 alcanza una precisión del 83.0% al igualar la calidad del artículo con señales externas y detecta el 71.6% de los errores inyectados. La retroalimentación de usuarios reales muestra un sentimiento positivo, con una proporción de votos de 1.44 a 1, aunque los falsos positivos y las pequeñas observaciones siguen siendo comunes.

arxiv arXiv cs.CL · hace 51 d · 1 vista

REDACT: Benchmark multilingüe de PII con control sistemático

REDACT introduce un benchmark multilingüe con control sistemático para la detección de información personalmente identificable, que incluye 51 tipos de entidades, 4.127 patrones de forma superficial y 25 idiomas. Evalúa cinco detectores en 1.000 registros, revelando que los modelos basados en reglas fallan en datos de alto riesgo, mientras que los LLMs tienen un mejor desempeño, especialmente en categorías de alta sensibilidad. Una evaluación de LLM sin referencia confirma que la asignación por nivel de sensibilidad es el eje de evaluación más desafiante.

media r/LocalLLaMA · hace 51 d · 1 vista

GLM-5.2 supera a GPT-5.5 en la evaluación AA-Briefcase

La nueva evaluación de trabajo del conocimiento agéntico de Artificial Analysis, AA-Briefcase, muestra que GLM-5.2 supera a GPT-5.5 en rendimiento. El benchmark evalúa la ejecución de tareas del mundo real y las capacidades de razonamiento en escenarios de trabajo del conocimiento.

arxiv arXiv cs.AI · hace 52 d

Benchmark de múltiples dominios para detectar imágenes generadas por IA con mucho texto

Un nuevo benchmark evalúa imágenes generadas por IA con mucho texto en seis dominios, incluidos carteles comerciales y recibos. Revela un rendimiento significativamente dependiente del dominio y una sensibilidad a la compresión JPEG, destacando la necesidad de métodos de detección conscientes del texto y el diseño.