Un estudio investiga si la calibración probabilística de los juicios del evaluador puede mitigar el "acoplamiento de preferencias del evaluador", donde sesgos sistemáticos se propagan a la estrategia de un agente LLM. Los autores presentan el primer análisis de este enfoque de mitigación, aplicando calibración a juicios por pares para reducir la propagación espuria de preferencias.

  • En un experimento controlado usando DeepSeek-V4-Pro como ejecutor y GLM5.2 como evaluador, TTRL con calibración de confianza redujo el coeficiente de acoplamiento gamma en un 20-49% en comparación con las actualizaciones binarias estándar.
  • La divergencia Jensen-Shannon se redujo entre un 45-67% con el método calibrado.

Un control de LR simétrica confirmó que estas mejoras no se debieron a una reducción en la asimetría de actualización.

Los autores publican el protocolo TTRL calibrado y lo recomiendan como una mitigación ligera para los pipelines de despliegue de LLM-as-judge.