Investigadores de la Universidad Tsinghua y Ant Group presentan IFEval++, un benchmark diseñado para evaluar la "fiabilidad orientada a matices" en modelos de lenguaje grandes, revelando que los modelos actuales tienen dificultades significativas con variaciones sutiles en las indicaciones a pesar de obtener puntuaciones altas en benchmarks estándar.
- El estudio define "indicaciones primas" como entradas que transmiten intenciones similares pero difieren en la redacción o el contexto, y propone la métrica reliable@k para cuantificar la consistencia entre ellas.
- IFEval++ consta de 541 casos de prueba, cada uno con 10 indicaciones primas generadas mediante una tubería automatizada que utiliza reformulación, adición de distractores y reconfiguración de tareas.
- Las evaluaciones de 20 modelos propietarios y 26 de código abierto muestran caídas de rendimiento de hasta el 61,8 % para Qwen3-0.6B y del 54,7 % para GPT-3.5-turbo-1106 al pasar de la precisión estándar en IFEval a reliable@10 en IFEval++.
- Incluso el modelo más fiable, GPT-5, experimentó una disminución del 18,3 % en su fiabilidad bajo condiciones matizadas.
- Los autores identifican el escalado paralelo durante la fase de prueba mediante muestreo por rechazo como el método de mejora más efectivo, permitiendo que modelos más débiles como Qwen3-4B superen a otros más potentes como LLaMA-3.3-70B-Instruct.
Los hallazgos destacan la fiabilidad orientada a matices como una brecha crítica en las capacidades actuales de los LLM y un paso necesario hacia la construcción de sistemas de IA más fiables y confiables.