Para peneliti memperkenalkan GRAPHEVAL, sebuah kerangka berbasis graf yang membingkai ulang kuantifikasi ketidakpastian (UQ) sebagai masalah kesetiaan penalaran holistik untuk mengatasi kelemahan dalam strategi dekoding standar seperti Self-Consistency. Studi ini mengusulkan Graph Reasoning Coherence Score (GRCS), sebuah metrik yang mengkuantifikasi konsensus semantik-struktural dan menangkap mode collapse patologis serta halusinasi percaya diri.
- GRCS diidentifikasi sebagai satu-satunya metrik yang secara konsisten berkorelasi negatif dengan kesetiaan penalaran di kedua model yang lebih mampu dan model yang lebih kecil.
- Kerangka kerja ini memperkenalkan Graph Self-Consistency (GSC), sebuah strategi dekoding berbasis medoid yang mengorbankan akurasi nominal demi kesetiaan penalaran.
- GSC mengungkapkan bagaimana Self-Consistency dibesar-besarkan oleh tebakan beruntung yang tidak setia pada model-model kecil, sambil mempertahankan atau meningkatkan akurasi pada model-model yang lebih mampu.
- Ablasi medoid adversarial menunjukkan bahwa jalur yang dipilih oleh GSC bertindak sebagai "jalur penopang beban", di mana memaksa model menjauh darinya menurunkan kesetiaan penalaran dan menyebabkan penurunan akurasi.
Para penulis menganggap ini penting karena memberikan metode untuk memilih penalaran yang lebih setia dibandingkan voting mayoritas naif, mengungkapkan tingkat penalaran tidak setia dalam metode evaluasi standar.