arxiv Moonshot AI (arXiv) · hace 797 d

MMLU-Pro introduce un benchmark más robusto con 10 opciones y preguntas centradas en el razonamiento

Traducido del English → Español

Los investigadores presentan MMLU-Pro, una versión mejorada del benchmark Massive Multitask Language Understanding diseñada para abordar la saturación del rendimiento y la inestabilidad en los modelos de lenguaje grandes actuales. El nuevo conjunto de datos amplía el conjunto de opciones de cuatro a diez, integra preguntas de razonamiento de nivel universitario desafiantes y elimina elementos ruidosos mediante revisión experta.

La precisión disminuye entre un 16% y un 33% en comparación con MMLU, con el modelo principal GPT-4o obteniendo solo un 72,6%.
La sensibilidad de la puntuación del modelo a las variaciones del prompt disminuye del 4-5% en MMLU a solo un 2% en MMLU-Pro a través de 24 estilos.
El razonamiento de cadena de pensamiento mejora significativamente el rendimiento en MMLU-Pro, mejorando GPT-4o en un 19%, mientras que perjudica los resultados en el benchmark original.
El benchmark abarca 14 dominios con más de 12.000 preguntas, proporcionando mayor poder discriminativo entre modelos como GPT-4o y GPT-4-Turbo.

MMLU-Pro sirve como una métrica más fiable y difícil para rastrear el progreso en las capacidades de comprensión y razonamiento lingüístico a nivel experto.

Importancia 1/3 Moonshot AI (arXiv) Benchmark results Evaluation & benchmarks

Benchmarks

Benchmark	Modelo	Puntuación
MMLU-Pro	GPT-4o	72.6%
MMLU-Pro	GPT-4-Turbo	63.7%

Artículos relacionados

arxiv arXiv cs.AI · hace 3 d

SciCode-Verified corrige defectos del benchmark para revelar la verdadera capacidad de codificación científica de los modelos

Los autores identifican que las puntuaciones estancadas en el benchmark SciCode provienen de defectos significativos en el instrumento de evaluación, más que de limitaciones en la capacidad del modelo. Una auditoría de expertos en el dominio de 65 problemas de prueba descubrió 263 defectos, con 192 que causaban que soluciones correctas fueran rechazadas erróneamente debido a problemas como respuestas doradas no reproducibles y tolerancias excesivamente ajustadas.

media Hugging Face Forums · hace 7 d · 8 vistas

Levent Bulut evalúa la fiabilidad de las anotaciones de LLM en proyecciones objetivas

Levent Bulut publicó un benchmark de tres estudios que evalúa la fiabilidad de las anotaciones generadas por máquinas para un corpus narrativo turco, revelando discrepancias significativas entre los evaluadores automatizados y el juicio humano. El estudio probó seis características artesanales binarias en 120 y 100 escenas utilizando detectores basados en reglas y modelos como Gemini 2.5 Flash, Grok, ChatGPT 5.5 y Claude Fable 5 High.

arxiv τ²-bench (tau2-bench) · hace 17 d · 1 vista

τ-bench 1.0.1 corrige la evaluación de banking_knowledge para evitar penalizar el comportamiento cauteloso del agente

Sierra Research lanzó τ-bench 1.0.1, que corrige el esquema de evaluación de la tarea `banking_knowledge` para dejar de penalizar a los agentes por lecturas de verificación prudentes y soluciona varias inconsistencias en los datos. La actualización asegura que la reevaluación de las trayectorias del ranking solo aumente las puntuaciones, sin que simulaciones que anteriormente aprobadas fallen.

arxiv arXiv cs.CL · hace 24 d · 1 vista

La descomposición de la varianza revela que el idioma de la consulta domina el ruido en las respuestas de los modelos de lenguaje grande

Un estudio descompone la no determinismo en las recomendaciones de marcas de modelos de lenguaje grande (LLM) en cuatro fuentes separables: remuestreo dentro del prompt, paráfrasis del prompt, identidad del modelo e idioma de la consulta. Mediante un análisis de efectos aleatorios cruzados sobre 12.933 respuestas en tres modelos y ocho idiomas, los autores identifican el idioma de la consulta como la mayor fuente de varianza con un 26,5%, mientras que la identidad de la marca representa solo el 1,5%.

arxiv arXiv cs.CL · hace 26 d · 8 vistas

AdvancedMathBench presenta ProverBench y VerifierBench para la evaluación de pruebas matemáticas avanzadas

Los investigadores presentan AdvancedMathBench, un conjunto de benchmarks diseñado para evaluar las capacidades de razonamiento matemático avanzado de los grandes modelos de lenguaje, abordando lagunas en el alcance disciplinar y la granularidad de la evaluación encontradas en los benchmarks existentes.