Sebuah studi menyelidiki apakah kalibrasi probabilitas dari penilaian evaluator dapat meredam "kopling preferensi evaluator", di mana bias sistematis merambat ke strategi agen LLM. Penulis menyajikan analisis pertama dari pendekatan peredaman ini, dengan menerapkan kalibrasi pada penilaian berpasangan untuk mengurangi propagasi preferensi palsu.

  • Dalam eksperimen terkontrol menggunakan DeepSeek-V4-Pro sebagai eksekutor dan GLM5.2 sebagai evaluator, TTRL yang dikalibrasi kepercayaan mengurangi koefisien kopling gamma sebesar 20-49% dibandingkan dengan pembaruan biner standar.
  • Divergensi Jensen-Shannon berkurang sebesar 45-67% dengan metode yang dikalibrasi.
  • Kontrol LR simetris mengonfirmasi bahwa perbaikan ini bukan disebabkan oleh pengurangan asimetri pembaruan.

Para penulis merilis protokol TTRL terkalibrasi dan merekomendasikannya sebagai peredaman ringan untuk jalur penerapan LLM-as-judge.