Un estudio controlado encuentra que, aunque los modelos de lenguaje grandes de última generación parecen robustos frente al contexto irrelevante para la tarea a nivel agregado, esta estabilidad enmascara una inestabilidad significativa por ejemplo. Anteponer pseudo-palabras sin significado semántico a las preguntas de los benchmarks provoca cambios marcados en las predicciones del modelo en una pequeña fracción de ejemplos.
- El efecto bidireccional degrada el rendimiento en algunos ejemplos mientras lo mejora en otros, manteniéndose consistentemente en un amplio rango de modelos y conjuntos de datos.
- Los ejemplos afectados son en gran medida específicos del modelo y la inestabilidad está modulada por el tipo de contexto, la longitud del contexto, el cómputo durante la prueba y la etapa de desarrollo del modelo.
Estos hallazgos revelan riesgos de cola inducidos por el contexto ocultos por la precisión agregada, motivando la evaluación de la fiabilidad por ejemplo en los modelos de lenguaje.