Sebuah studi menantang pendekatan input-output yang berlaku untuk bias penilaian LLM-as-Judge dengan menunjukkan bahwa bias dikodekan dalam geometri aktivasi tersembunyi model. Penulis menganalisis tujuh juri di sembilan benchmark dan mengidentifikasi subruang berdimensi rendah dan spesifik tipe di mana input bias bergeser.

  • Input penilaian baseline menempati manifold aktivasi yang rapat, sementara input bias bergeser sepanjang subruang yang semakin tajam seiring kedalaman jaringan.
  • Mengarahkan keadaan tersembunyi sepanjang subruang tertentu ini secara kausal mendorong penilaian ke kedua arah, sedangkan arah acak menghasilkan efek yang dapat diabaikan.
  • Proyeksi linear ke fitur arah bias ini secara akurat mengantisipasi kegagalan juri pada tiga benchmark yang belum pernah dilihat, melampaui metode berbasis teks.

Membaca bias sebagai geometri aktivasi menyatukan struktur geometris, kontrol kausal, dan prediksi operasional dalam satu kerangka kerja untuk memahami perilaku penilaian LLM.