Une étude audite les raccourcis de niveau protocole dans les grands modèles audio-langage (LALM) utilisés comme juges automatiques pour l'évaluation de la parole, révélant qu'un accord élevé avec les évaluations humaines ne garantit pas que les verdicts sont fondés sur l'audio réel. La recherche examine trois protocoles de déploiement : le jugement par plan de caractéristiques, le jugement conditionné par référence, et la comparaison par paires A/B sur six juges et quatre attributs.
- Dans le jugement par plan de caractéristiques, des étiquettes d'expert incorrectes ont réduit la précision émotionnelle à 0,10 ou moins pour cinq des juges.
- Dans les comparaisons A/B concaténées, Qwen3-Omni-Thinking a fréquemment sélectionné le même slot indépendamment des échanges d'ordre.
- Les résultats indiquent que l'accord agrégé peut surestimer la validité des juges LALM à moins que le modèle et le protocole d'évaluation soient évalués conjointement.
Les auteurs concluent que chaque paire modèle-protocole doit être évaluée avec une sonde de raccourci correspondante pour garantir une évaluation fiable de la parole.