Исследование изучает, может ли вероятностная калибровка суждений оценщика смягчить «связанность предпочтений оценщика», при которой систематические смещения распространяются на стратегию агента LLM. Авторы представляют первый анализ этого подхода к смягчению, применяя калибровку к попарным суждениям для снижения ложного распространения предпочтений.

  • В контролируемом эксперименте с использованием DeepSeek-V4-Pro в качестве исполнителя и GLM5.2 в качестве оценщика доверительно-калиброванный TTRL снизил коэффициент связи gamma на 20–49% по сравнению со стандартными бинарными обновлениями.
  • Расстояние Дживнона-Шеннона было снижено на 45–67% с использованием калиброванного метода.

Контроль с симметричной скоростью обучения подтвердил, что эти улучшения не были вызваны снижением асимметрии обновлений.

Авторы публикуют протокол калиброванного TTRL и рекомендуют его в качестве легковесного средства смягчения для конвейеров развертывания LLM-as-judge.