研究者らは、Self-Guided Test-Time Training (S-TTT) を提案した。この手法は、適応前にモデルが関連する証拠スパンを特定することで、長期コンテキストの利用効率を向上させる。

  • S-TTT は、フルコンテキストやランダムサンプリングの代わりに、パラメータ適応に特定の証拠スパンを選択する。
  • ベースモデルのパフォーマンスが低下しないよう、標準的な言語モデリング目的関数は選択されたスパンのみに適用される。
  • LongBench-v2 および LongBench-Pro において、S-TTT は Qwen3-4B-Thinking-2507 と Llama-3.1-8B-Instruct の精度を最大で相対的に 15% 向上させた。