arxiv arXiv cs.AI · hace 2 h · research

SciCode-Verified corrige defectos del benchmark para revelar la verdadera capacidad de codificación científica de los modelos

Traducido del English → Español

Los autores identifican que las puntuaciones estancadas en el benchmark SciCode provienen de defectos significativos en el instrumento de evaluación, más que de limitaciones en la capacidad del modelo. Una auditoría de expertos en el dominio de 65 problemas de prueba descubrió 263 defectos, con 192 que causaban que soluciones correctas fueran rechazadas erróneamente debido a problemas como respuestas doradas no reproducibles y tolerancias excesivamente ajustadas.

El equipo corrigió cada defecto confirmable para crear SciCode-Verified, añadiendo especificaciones necesarias y reparando la lógica de calificación.
La reevaluación de doce instantáneas de modelos de vanguardia en el benchmark corregido mostró que la precisión por subproblema aumentó del 45–60% al 84–98%.
La precisión del problema principal aumentó significativamente del 9–27% al 69–92%, demostrando que los modelos de última generación son mucho más competentes de lo que se sugería anteriormente.

Los autores publican SciCode-Verified con su historial completo de auditoría como el estándar público corregido, estableciendo que el cuello de botella anterior era la calidad del instrumento de evaluación.

Importancia 2/3 Nuevo entorno de evaluación con diferenciadores arXiv cs.AI Benchmark results Evaluation & benchmarks

Artículos relacionados

media Hugging Face Forums · hace 4 d · 8 vistas

Levent Bulut evalúa la fiabilidad de las anotaciones de LLM en proyecciones objetivas

Levent Bulut publicó un benchmark de tres estudios que evalúa la fiabilidad de las anotaciones generadas por máquinas para un corpus narrativo turco, revelando discrepancias significativas entre los evaluadores automatizados y el juicio humano. El estudio probó seis características artesanales binarias en 120 y 100 escenas utilizando detectores basados en reglas y modelos como Gemini 2.5 Flash, Grok, ChatGPT 5.5 y Claude Fable 5 High.

arxiv τ²-bench (tau2-bench) · hace 14 d · 1 vista

τ-bench 1.0.1 corrige la evaluación de banking_knowledge para evitar penalizar el comportamiento cauteloso del agente

Sierra Research lanzó τ-bench 1.0.1, que corrige el esquema de evaluación de la tarea `banking_knowledge` para dejar de penalizar a los agentes por lecturas de verificación prudentes y soluciona varias inconsistencias en los datos. La actualización asegura que la reevaluación de las trayectorias del ranking solo aumente las puntuaciones, sin que simulaciones que anteriormente aprobadas fallen.

arxiv arXiv cs.CL · hace 21 d · 1 vista

La descomposición de la varianza revela que el idioma de la consulta domina el ruido en las respuestas de los modelos de lenguaje grande

Un estudio descompone la no determinismo en las recomendaciones de marcas de modelos de lenguaje grande (LLM) en cuatro fuentes separables: remuestreo dentro del prompt, paráfrasis del prompt, identidad del modelo e idioma de la consulta. Mediante un análisis de efectos aleatorios cruzados sobre 12.933 respuestas en tres modelos y ocho idiomas, los autores identifican el idioma de la consulta como la mayor fuente de varianza con un 26,5%, mientras que la identidad de la marca representa solo el 1,5%.

arxiv arXiv cs.CL · hace 23 d · 8 vistas

AdvancedMathBench presenta ProverBench y VerifierBench para la evaluación de pruebas matemáticas avanzadas

Los investigadores presentan AdvancedMathBench, un conjunto de benchmarks diseñado para evaluar las capacidades de razonamiento matemático avanzado de los grandes modelos de lenguaje, abordando lagunas en el alcance disciplinar y la granularidad de la evaluación encontradas en los benchmarks existentes.

arxiv arXiv cs.CL · hace 29 d · 6 vistas

DataGovBench evalúa LLMs frente a las complejidades de datos del mundo real

Los benchmarks actuales para evaluar Grandes Modelos de Lenguaje (LLMs) en análisis de datos a menudo no reflejan entornos reales al centrarse en la recuperación de hechos de tablas pequeñas mientras pasan por alto desafíos como conjuntos de datos multi-tabulares grandes y el descubrimiento de insights exploratorios. Para abordar esto, los autores presentan DataGovBench, un benchmark derivado de datos abiertos gubernamentales diseñado para evaluar LLMs en escenarios prácticos.