孤立プローブを通過しても文脈コピーに失敗する「FragileTokens」を特定した研究
ある研究は、「FragileTokens」と呼ばれる語彙項目を特徴づけている。これはオープンウェイト言語モデルにおける語彙エントリで、孤立した状態ではコピーに成功するが、周囲のテキスト中に埋め込まれるとエラーを示すものである。この研究は、標準的な孤立テストでは文字通りの同一性の保持が保証されないことを浮き彫りにしている。なぜなら、トークンはシーケンス内で削除されたり、置換されたり、切り詰められたりする可能性があるからである。