Sebuah studi mengaudit pintasan tingkat protokol dalam model bahasa-audio besar (LALM) yang digunakan sebagai hakim otomatis untuk evaluasi ucapan, mengungkapkan bahwa kesepakatan tinggi dengan penilaian manusia tidak menjamin putusan didasarkan pada audio sebenarnya. Penelitian ini memeriksa tiga protokol penerapan: penjudian cetak biru fitur, penjudian berkondisi referensi, dan perbandingan A/B berpasangan di enam hakim dan empat atribut.
- Dalam penjudian cetak biru fitur, label spesialis yang salah mengurangi akurasi emosi menjadi 0,10 atau lebih rendah untuk lima dari para hakim.
- Dalam perbandingan A/B yang digabungkan, Qwen3-Omni-Thinking sering memilih slot yang sama terlepas dari pertukaran urutan.
- Temuan tersebut menunjukkan bahwa kesepakatan agregat dapat melebih-lebihkan validitas hakim LALM kecuali model dan protokol evaluasi dinilai secara bersama-sama.
Para penulis menyimpulkan bahwa setiap pasangan model-protokol harus dievaluasi dengan probe pintasan yang cocok untuk memastikan evaluasi ucapan yang andal.