Para peneliti memperkenalkan SPANUQ, sebuah probe ringan yang melakukan Estimasi Ketidakpastian Tingkat Span (SLUE) dengan mendistilasi pengetahuan ketidakpastian dari inferensi multi-sampel ke dalam satu lewat maju atas keadaan tersembunyi LLM. Metode ini menggunakan decoder span bergaya DETR untuk secara bersamaan mendeteksi span dan memperkirakan ketidakpastiannya melalui Campuran Distribusi Beta.
- SPANUQ-BENCH adalah benchmark ketidakpastian tingkat span pertama, yang terdiri dari 20K prompt, 293K span beranotasi, dan label lunak kontinu yang berasal dari verifikasi klaim multi-sampel.
- Eksperimen pada lima backbone LLM menunjukkan SPANUQ secara konsisten mencapai kualitas ketidakpastian tingkat span terbaik, mengungguli baseline probe terkuat dan semua metode berbasis sampling sambil menjadi 10-20x lebih cepat.
- Detektor span berbasis DETR-nya mencapai F1 0.910, melampaui heuristik terbaik sebesar 39,4%, memungkinkan pelokalan kesalahan yang presisi yang tidak dapat diberikan oleh metode tingkat sekuens.
Kerangka kerja ini umum di seluruh lima LLM yang mencakup dua keluarga model, mengatasi keterbatasan skor ketidakpastian tingkat token dan tingkat sekuens.