Un estudio trata la ambigüedad del reemplazo del evaluador como un problema de validez de medición, demostrando que las puntuaciones del juez LLM pueden cambiar incluso cuando las respuestas de los candidatos permanecen fijas. Los autores comparan dos rutas de actualización en cuatro conjuntos de datos de juicio: escalar jueces densos Qwen3 de 1.7B a 32B parámetros y moverse entre las APIs lanzadas de MiniMax M2-M2.7.

  • Solo la actualización de Qwen3 1.7B a 4B proporciona una ganancia adyacente robusta, mientras que los lanzamientos adyacentes de MiniMax no lo hacen.
  • Los jueces más fuertes reducen pero no eliminan el sesgo de posición y verbosidad.
  • Las jurados de muestras repetidas añaden poco valor cuando los errores están correlacionados.
  • El debate estructurado puede mover las decisiones sustancialmente, pero los cambios no pueden atribuirse a la deliberación sin registros del analizador y de respaldo.

Los autores argumentan que los informes del juez LLM deben incluir cortes de conjuntos de datos, pruebas de sesgo, estimaciones de dependencia de errores y rastros de auditoría del protocolo para garantizar la fiabilidad.