Un estudio audita los atajos a nivel de protocolo en modelos de lenguaje grandes para audio (LALMs) utilizados como jueces automáticos para la evaluación del habla, revelando que un alto acuerdo con las calificaciones humanas no garantiza que los veredictos estén fundamentados en el audio real. La investigación examina tres protocolos de implementación: juzgamiento por esquema de características, juzgamiento condicionado a referencia y comparación A/B por pares entre seis jueces y cuatro atributos.
- En el juzgamiento por esquema de características, las etiquetas incorrectas de especialistas redujeron la precisión de la emoción a 0.10 o menos para cinco de los jueces.
- En las comparaciones A/B concatenadas, Qwen3-Omni-Thinking seleccionó frecuentemente el mismo slot independientemente de los intercambios de orden.
- Los hallazgos indican que el acuerdo agregado puede sobrestimar la validez de los jueces LALM a menos que el modelo y el protocolo de evaluación se evalúen conjuntamente.
Los autores concluyen que cada par modelo-protocolo debe evaluarse con una sonda de atajo coincidente para garantizar una evaluación confiable del habla.