Un estudio evalúa si son necesarios los modelos de vanguardia para verificar citas en sistemas de investigación profunda, encontrando que jueces más económicos siguen siendo competitivos frente a las etiquetas doradas.
- Los investigadores puntuaron 8 jueces LLM comerciales de 3 familias de modelos en un benchmark adversarial de texto largo con 1.248 decisiones por rúbrica.
- GPT-5-mini logró el F1 más fuerte para la clase de aprobación de relevancia de fuente en 0.908, mientras que las puntuaciones de soporte factual fueron estadísticamente indistinguibles entre modelos.
- Los jueces difirieron sustancialmente en la deriva de la tasa de aprobación y las tasas de falso positivo/negativo a pesar de tener puntuaciones F1 escalares comparables.
Los resultados indican que calibrar al juez es un prerrequisito para usar rúbricas de citas como señales de recompensa, pero esta calibración no requiere el modelo más caro disponible.