Para peneliti memperkenalkan SPEARBench, sebuah benchmark yang dirancang untuk mengevaluasi naturalitas model bahasa ucapan-ke-ucapan streaming selama interaksi tanya-jawab.
- Benchmark ini membangun prompt dialog terkontrol dari korpus Seamless Interaction dan menjalankan inferensi di berbagai model.
- Benchmark ini memanfaatkan protokol evaluasi multidimensi yang mencakup latensi respons, interupsi, kualitas suara, ketahanan ASR, konsistensi bahasa dan dialek, naturalitas emosional, sikap interpersonal, dan baseline distribusi yang dapat dijelaskan.
- Jawaban manusia asli berfungsi sebagai kondisi referensi untuk perbandingan.
Hasil menunjukkan bahwa meskipun model saat ini mencapai kualitas tingkat sinyal yang tinggi dan kesalahan ASR yang rendah, mereka masih berbeda dari perilaku percakapan manusia dalam hal latensi, tumpang tindih, pelestarian dialek, adaptasi emosional, dan dinamika sikap interpersonal.