arxiv arXiv cs.AI · hace 1 d · research

Las puntuaciones de benchmarks de API sobreestiman el rendimiento de las interfaces de chatbots

Traducido del English → Español

Una auditoría de ChatGPT, Claude y Gemini revela que las métricas de evaluación por API no se transfieren de forma fiable a las interfaces de chatbots desplegadas. El estudio identifica una "brecha de validez contextual" donde las mediciones basadas en API difieren sistemáticamente del uso real.

Las evaluaciones de API obtienen un 3,4 puntos porcentuales más de precisión que las evaluaciones de interfaz.
La concordancia test-retest es un 2,1 puntos porcentuales mayor para el acceso por API en comparación con el acceso a la interfaz.
Para ChatGPT, la caída de rendimiento al cambiar a una interfaz supera la diferencia entre GPT 5.3 y GPT 5.4.
Ajustar los prompts del sistema, los parámetros de muestreo y los ajustes de razonamiento mediante controles de API no elimina fiablemente esta brecha de rendimiento.

Estos hallazgos complican el uso de evaluaciones de API como sustitutos de sistemas desplegados, indicando que las puntuaciones de benchmarks pueden sobreestimar las capacidades reales面向 al usuario.

Importancia 2/3 arXiv cs.AI OpenAI Anthropic Google DeepMind Evaluation & benchmarks

Artículos relacionados

arxiv arXiv cs.CL · hace 67 d · 9 vistas

GPT-5 supera a los humanos en la inducción de estados de creencia mediante planificación

Un nuevo estudio evalúa la capacidad de los Modelos de Lenguaje Grande (LLM) para inducir estados de creencia específicos en otros agentes mediante acciones en lugar de conversación, una capacidad denominada ToM de Planificación No Conversacional (NCP-ToM). Utilizando el marco NCP-ExploreToM, los investigadores probaron seis modelos de vanguardia y participantes humanos en 600 instancias de tareas donde los agentes debían mover objetos o dirigir personajes para lograr objetivos de creencia.

arxiv arXiv cs.CL · hace 67 d · 10 vistas

La evaluación zero-shot muestra que Gemini lidera a los LLM en la taxonomía de emociones de 13 clases

Un estudio evaluó tres modelos de lenguaje grandes comerciales: Claude (claude-sonnet-4-6), ChatGPT (GPT-5.4) y Gemini (gemini-2.5-flash) en una tarea de clasificación fina de emociones zero-shot utilizando una muestra estratificada de 1.000 oraciones del conjunto de datos boltuix/emotions.

arxiv arXiv cs.CL · hace 69 d · 5 vistas

Calificación automatizada de exámenes de Linux/bash utilizando modelos de lenguaje grandes

Este estudio evalúa si cuatro modelos de lenguaje grandes de vanguardia (GPT, Claude Opus, Gemini y GLM) pueden aproximar el juicio experto al calificar respuestas cortas a comandos de Linux/bash. La investigación demuestra que los prompts estructurados mejoran significativamente la concordancia con los evaluadores humanos, estableciendo un marco para la evaluación asistida por IA en la educación informática.

arxiv arXiv cs.AI · hace 73 d · 7 vistas

Cuando la utilidad supera la precaución causal: Supresión y recuperación dependientes del contexto en los LLM

Un estudio revela que los modelos de lenguaje grandes suprimen sistemáticamente la 'Precaución Causal'—la tendencia a abstenerse de emitir juicios causales sin evidencia suficiente—al pasar de contextos académicos a contextos de asesoramiento práctico. Esta supresión ocurre a pesar de que los modelos conservan la capacidad subyacente, como lo demuestra la habilidad de restaurar el razonamiento cauteloso mediante prompts específicos.

media r/LocalLLaMA · hace 79 d · 15 vistas

El Reglamento de IA de la UE exige marcas de agua en textos generados por IA desde agosto de 2024

El Reglamento de IA de la UE requiere que todos los sistemas de IA que generen texto sintético incluyan marcas de agua legibles por máquina y detectables, utilizando soluciones técnicas robustas e interoperables con dos capas. Esto se aplica a todos los modelos de IA, incluidos los de código abierto, y se extiende a cualquier servicio accesible por ciudadanos de la UE, independientemente de su ubicación. El incumplimiento conlleva multas de hasta 35 millones de euros o un porcentaje de los ingresos anuales, y los proveedores de modelos de IA de 'riesgo sistémico' enfrentan una mayor responsabilidad.