media Hugging Face Forums · hace 2 h · open_models

Levent Bulut evalúa la fiabilidad de las anotaciones de LLM en proyecciones objetivas

Traducido del English → Español

Levent Bulut publicó un benchmark de tres estudios que evalúa la fiabilidad de las anotaciones generadas por máquinas para un corpus narrativo turco, revelando discrepancias significativas entre los evaluadores automatizados y el juicio humano. El estudio probó seis características artesanales binarias en 120 y 100 escenas utilizando detectores basados en reglas y modelos como Gemini 2.5 Flash, Grok, ChatGPT 5.5 y Claude Fable 5 High.

Las puntuaciones de kappa de Cohen estuvieron cerca del azar para cinco de los seis evaluadores, oscilando entre 0.000 y 0.027.
Para la regla que requiere inferencia sobre estados abstractos, los evaluadores humanos identificaron 9 positivos mientras que ChatGPT 5.5 identificó 40 y el detector identificó 72.
ChatGPT 5.5 logró la mayor coincidencia bruta del 84.5%, principalmente porque cinco de las seis reglas tenían distribuciones desequilibradas que favorecían las etiquetas negativas.
El autor señala que cuatro de las seis reglas eran efectivamente no evaluables debido a defectos en el conjunto de evaluación en lugar de fallos del modelo.

Los resultados sugieren que la característica requiere inferencia más allá de los modelos actuales o que la definición no es lo suficientemente operativa para una aplicación consistente. Bulut ha liberado como código abierto el conjunto de datos, las instrucciones y los scripts para buscar un segundo evaluador humano independiente.

Importancia 1/3 Confianza 1/3 Hugging Face Forums Benchmark results Evaluation & benchmarks

Artículos relacionados

arxiv τ²-bench (tau2-bench) · hace 10 d

τ-bench 1.0.1 corrige la evaluación de banking_knowledge para evitar penalizar el comportamiento cauteloso del agente

Sierra Research lanzó τ-bench 1.0.1, que corrige el esquema de evaluación de la tarea `banking_knowledge` para dejar de penalizar a los agentes por lecturas de verificación prudentes y soluciona varias inconsistencias en los datos. La actualización asegura que la reevaluación de las trayectorias del ranking solo aumente las puntuaciones, sin que simulaciones que anteriormente aprobadas fallen.

arxiv arXiv cs.CL · hace 17 d

La descomposición de la varianza revela que el idioma de la consulta domina el ruido en las respuestas de los modelos de lenguaje grande

Un estudio descompone la no determinismo en las recomendaciones de marcas de modelos de lenguaje grande (LLM) en cuatro fuentes separables: remuestreo dentro del prompt, paráfrasis del prompt, identidad del modelo e idioma de la consulta. Mediante un análisis de efectos aleatorios cruzados sobre 12.933 respuestas en tres modelos y ocho idiomas, los autores identifican el idioma de la consulta como la mayor fuente de varianza con un 26,5%, mientras que la identidad de la marca representa solo el 1,5%.

arxiv arXiv cs.CL · hace 19 d · 2 vistas

AdvancedMathBench presenta ProverBench y VerifierBench para la evaluación de pruebas matemáticas avanzadas

Los investigadores presentan AdvancedMathBench, un conjunto de benchmarks diseñado para evaluar las capacidades de razonamiento matemático avanzado de los grandes modelos de lenguaje, abordando lagunas en el alcance disciplinar y la granularidad de la evaluación encontradas en los benchmarks existentes.

arxiv arXiv cs.CL · hace 25 d · 3 vistas

DataGovBench evalúa LLMs frente a las complejidades de datos del mundo real

Los benchmarks actuales para evaluar Grandes Modelos de Lenguaje (LLMs) en análisis de datos a menudo no reflejan entornos reales al centrarse en la recuperación de hechos de tablas pequeñas mientras pasan por alto desafíos como conjuntos de datos multi-tabulares grandes y el descubrimiento de insights exploratorios. Para abordar esto, los autores presentan DataGovBench, un benchmark derivado de datos abiertos gubernamentales diseñado para evaluar LLMs en escenarios prácticos.

arxiv arXiv cs.CL · hace 26 d

MORE: benchmark multilingüe de análisis de documentos que cubre 149 idiomas

Los investigadores presentan MORE, un benchmark a gran escala diseñado para evaluar el rendimiento de Vision-Language Models en el análisis de documentos multilingües. El conjunto de datos aborda la falta de ground truth para low-resource languages mediante la curación de muestras de documentos del mundo real a través de una tubería de anotación asistida por modelos y refinada por humanos.