Meninjau Kembali Hubungan Antara Perplexitas Model Bahasa dan Tingkat Kesalahan Kata ASR untuk Pengenalan Ucapan End-to-End Modern

Makalah ini meninjau kembali asumsi historis bahwa perplexitas (PPL) model bahasa (LM) berfungsi sebagai proksi linear untuk tingkat kesalahan kata (WER) pengenalan ucapan otomatis (ASR) dalam ruang log-log. Makalah ini memeriksa apakah LM eksternal masih meningkatkan sistem ASR end-to-end modern dan bagaimana pemodelan bahasa internal memengaruhi hubungan ini.

• Studi ini menyelidiki apakah hubungan PPL-WER tetap linear untuk sistem modern yang sudah memiliki kapasitas pemodelan bahasa internal.
• Makalah ini menganalisis bagaimana panjang konteks encoder memengaruhi korelasi yang diamati antara perplexitas dan tingkat kesalahan.
• Penelitian ini mengeksplorasi bagaimana perplexitas model bahasa besar (LLM) sesuai dengan tren yang sebelumnya ditetapkan oleh LM neural standar.
• Pengurangan pemodelan bahasa internal (ILM) ditunjukkan mengubah hubungan PPL-WER yang diamati, menunjukkan bahwa LM internal decoder harus dipertimbangkan saat menginterpretasikan kualitas LM eksternal.

Temuan tersebut menunjukkan bahwa kapasitas pemodelan bahasa internal decoder secara signifikan memengaruhi bagaimana kualitas LM eksternal memengaruhi kinerja ASR.