Um estudo investiga se a calibração probabilística dos julgamentos do avaliador pode mitigar o "acoplamento de preferências do avaliador", onde vieses sistemáticos se propagam para a estratégia de um agente LLM. Os autores apresentam a primeira análise dessa abordagem de mitigação, aplicando calibração a julgamentos pareados para reduzir a propagação espúria de preferências.

  • Em um experimento controlado usando DeepSeek-V4-Pro como executor e GLM5.2 como avaliador, o TTRL com calibração de confiança reduziu o coeficiente de acoplamento gamma em 20-49% em comparação com as atualizações binárias padrão.
  • A divergência Jensen-Shannon foi reduzida em 45-67% com o método calibrado.

Um controle de LR simétrica confirmou que essas melhorias não se deveram à redução da assimetria de atualização.

Os autores lançam o protocolo TTRL calibrado e o recomendam como uma mitigação leve para pipelines de implantação de LLM-as-judge.