통제된 연구에 따르면, 최첨단 대규모 언어 모델은 집계 수준에서 작업과 무관한 문맥에 대해 강건해 보이지만, 이러한 안정성이 개별 예시마다의 상당한 불안정성을 가리고 있음이 밝혀졌다. 벤치마크 질문에 의미 없는 유사어를 붙이면 소수의 예시에 대해 모델 예측이 현저히 변동한다.
- 이 양방향 효과는 일부 예시에서는 성능을 저하시키고 다른 예시에서는 향상시키며, 광범위한 모델과 데이터셋에 걸쳐 일관되게 관찰된다.
- 영향을 받는 예시는 주로 모델 특유이며, 불안정성은 문맥 유형, 문맥 길이, 테스트 시간 계산량, 모델 개발 단계에 의해 조절된다.
이러한 발견은 집계 정확도에 숨겨진 문맥 유도 테일 리스크를 드러내며, 언어 모델의 개별 예시 신뢰성 평가를 촉진한다.