研究者らは、大規模言語モデルにおける長い入力の利用の難しさを解決するため、Self-Guided Test-Time Training (S-TTT) を提案した。ランダムなスパンでの標準的なテスト時トレーニングは、ノイズによりパフォーマンスが低下することがある。

この手法は、適応する前にコンテキスト内に関連する証拠スパンをモデルが特定し、選択されたセグメントにのみトレーニング目的関数を適用することで機能する。このアプローチは、フルコンテキストトレーニングの極めて高いコストを回避しつつ、無関係なデータの悪影響を軽減する。

LongBench-v2およびLongBench-Proベンチマークにおいて、S-TTTはQwen3-4B-Thinking-2507およびLlama-3.1-8B-Instructの精度を向上させ、最大で15%の相対的な改善を実現した。