Les chercheurs présentent SPEARBench, un benchmark conçu pour évaluer la naturalité des modèles de langage de parole à parole en streaming lors d'interactions question-réponse.
- Le benchmark construit des prompts de dialogue contrôlés à partir du corpus Seamless Interaction et exécute l'inférence sur plusieurs modèles.
- Il utilise un protocole d'évaluation multidimensionnel couvrant la latence de réponse, les interruptions, la qualité de la parole, la robustesse ASR, la cohérence linguistique et dialectale, la naturalité émotionnelle, la posture interpersonnelle et des bases distributionnelles explicables.
- Les réponses humaines originales servent de condition de référence pour la comparaison.
Les résultats indiquent que bien que les modèles actuels atteignent une qualité au niveau du signal élevée et une faible erreur ASR, ils diffèrent toujours du comportement conversationnel humain en termes de latence, de chevauchement, de préservation des dialectes, d'adaptation émotionnelle et de dynamique de posture interpersonnelle.