Peneliti mengusulkan kerangka kerja baru untuk mengkalibrasi nilai eigen dari embedding semantik dalam model bahasa besar, mengatasi kesenjangan di mana metode kalibrasi klasifikasi konvensional tidak berlaku. Pendekatan ini memperlakukan LLM dengan embedding semantik sebagai prediktor matriks densitas dan menerapkan penskalaan suhu pada nilai eigennya.
- Menginterpretasikan LLM yang digabungkan dengan embedding semantik sebagai prediktor matriks densitas.
- Menerapkan penskalaan suhu pada nilai eigen untuk kalibrasi.
- Menetapkan kesetaraan entropi-risiko di bawah kalibrasi.
- Menyimpulkan ketidaksamaan kalibrasi sentral yang spesifik untuk nilai eigen.
- Membuktikan bahwa nilai eigen yang diskalakan dengan suhu mengoptimalkan kalibrasi saat meminimalkan risiko skor yang tepat.
Eksperimen pada pengaturan dunia nyata menunjukkan bahwa LLM saat ini secara sistematis terlalu percaya diri, memvalidasi temuan teoretis dan memajukan kuantifikasi ketidakpastian untuk embedding semantik.