Контролируемое исследование выявило, что хотя современные большие языковые модели кажутся устойчивыми к контексту, не относящемуся к задаче, на совокупном уровне, эта стабильность маскирует значительную нестабильность для отдельных примеров. Добавление бессмысленных псевдослов перед вопросами в бенчмарках вызывает заметные сдвиги в предсказаниях модели для небольшой доли примеров.

  • Двусторонний эффект ухудшает производительность на некоторых примерах, но улучшает её на других, оставаясь последовательным в широком диапазоне моделей и наборов данных.
  • Затронутые примеры в значительной степени специфичны для модели, а нестабильность модулируется типом контекста, длиной контекста, вычислениями во время тестирования и стадией разработки модели.

Эти результаты показывают скрытые хвостовые риски, вызванные контекстом и маскируемые совокупной точностью, что обуславливает необходимость оценки надёжности языковых моделей на уровне отдельных примеров.