Los investigadores presentan SPEARBench, un benchmark diseñado para evaluar la naturalidad de los modelos de lenguaje de habla a habla en streaming durante interacciones de pregunta y respuesta.
- El benchmark construye prompts de diálogo controlados a partir del corpus Seamless Interaction y ejecuta inferencia en múltiples modelos.
- Utiliza un protocolo de evaluación multidimensional que cubre latencia de respuesta, interrupciones, calidad del habla, robustez ASR, consistencia de idioma y dialecto, naturalidad emocional, postura interpersonal y líneas base distribucionales explicables.
- Las respuestas humanas originales sirven como condición de referencia para la comparación.
Los resultados indican que, aunque los modelos actuales logran alta calidad a nivel de señal y bajo error ASR, aún difieren del comportamiento conversacional humano en latencia, superposición, preservación del dialecto, adaptación emocional y dinámica de postura interpersonal.