Studi ini melaporkan keandalan empiris model Gemini (2.5 Flash, 3.5 Flash, dan 3.1 Pro) yang bertindak sebagai hakim audio yang menilai percakapan agen full-duplex langsung dari gelombang stereo mentah.
- Gemini 2.5 Flash berfungsi sebagai model ground-truth, divalidasi terhadap tiga penilai manusia terkalibrasi pada 209 sesi stereo di seluruh 8 dimensi produksi.
- Pada 5 dari 8 dimensi, rho Spearman LALM-manusia menyimpang dari rho manusia-manusia berpasangan sebesar maksimal 0,07, dengan interval kepercayaan yang tumpang tindih pada 7 dari 8 dimensi.
- Gemini 3.5 Flash meningkatkan kesetujuan sederhana menjadi 8 dari 8 dimensi, sementara 3.1 Pro menilai beberapa dimensi secara signifikan lebih rendah daripada manusia meskipun korelasi peringkatnya sebanding.
- LALM sama sensitifnya dengan manusia atau lebih baik pada 45 dari 48 sel dimensi cacat, meskipun sebagian besar adalah hipotesis nol yang kurang berdaya daripada kesetaraan yang terbukti.
- Biaya penilaian manusia sekitar dua orde magnitudo lebih tinggi daripada beban kerja LALM yang setara untuk kadensi yang dievaluasi.
Data ini memberikan dasar empiris yang dapat dipertahankan untuk menerapkan LALM sebagai pengganti atau penilai keempat pada dimensi di mana bukti mendukungnya, meskipun pertukaran model memerlukan validasi kalibrasi spesifik.