統制された研究により、最先端の大規模言語モデルは集計レベルではタスクに無関係な文脈に対して堅牢に見えるものの、この安定性が個々の例ごとの大きな不安定性を隠蔽していることが明らかになった。ベンチマークの質問に意味のない疑似語を前置すると、少数の例においてモデルの予測が顕著に変動する。
- この両方向への効果は、一部の例では性能を低下させ、他の例では向上させるが、広範なモデルやデータセットで一貫して観察される。
- 影響を受ける例は主にモデル固有であり、その不安定性は文脈の種類、文脈の長さ、テスト時の計算量、モデルの開発段階によって調整される。
これらの知見は、集計精度に隠蔽された文脈起因のテールリスクを明らかにし、言語モデルの個々の例ごとの信頼性評価を促す。