Un estudio revela que los jueces basados en modelos de lenguaje grandes (LLM) tienden a ser demasiado indulgentes al evaluar respuestas abiertas en entornos sin referencia, donde no se proporciona una respuesta verdadera. La investigación demuestra que estos modelos a menudo acreditan incorrectamente las respuestas erróneas y que sus juicios son muy sensibles a la presencia de información de referencia.

  • Los experimentos de calibración evaluaron el conocimiento del modelo juez sobre la tarea que estaba evaluando.
  • Los experimentos de sensibilidad midieron cómo cambiaba el rendimiento según la presencia y posición de las respuestas de referencia.
  • En tres idiomas, añadir información de respuesta de referencia invirtió decisiones correctas/incorrectas hasta en un 85% en algunos entornos.
  • Estos cambios impulsados por referencias generalmente se alinearon con las anotaciones humanas al compararlos con un subconjunto de ellas.

Los autores enfatizan la necesidad de calibrar los jueces LLM con muestras de evaluación conscientes de la referencia antes de usarlos de manera confiable en configuraciones sin referencia.