El artículo trata la ambigüedad del reemplazo del evaluador como un problema de validez de medición, demostrando que las puntuaciones del juez LLM pueden cambiar incluso cuando las respuestas candidatas permanecen fijas. En cuatro conjuntos de datos de juicio, los autores comparan el escalado de jueces densos Qwen3 de 1.7B a 32B parámetros y el cambio entre las APIs lanzadas MiniMax M2-M2.7.
- Solo la actualización de Qwen3 1.7B a 4B proporciona una ganancia adyacente robusta; otras actualizaciones no son intercambiables.
- Los lanzamientos adyacentes de MiniMax no producen mejoras consistentes en la estabilidad de la medición.
- Jueces más fuertes reducen pero no eliminan el sesgo de posición y verbosidad.
- Jurados de muestras repetidas aportan poco valor cuando los errores están correlacionados.
- El debate estructurado puede mover decisiones sustancialmente, pero la atribución requiere registros del analizador y de respaldo.
Los autores argumentan que los informes del juez LLM deben incluir cortes de conjuntos de datos, pruebas de sesgo, estimaciones de dependencia de errores y rastros de auditoría del protocolo para garantizar la fiabilidad.