研究者らは、モデルの内部注意機構内で関連する証拠を再帰的に再生することで、長文脈推論を強化するトレーニング不要の推論手法であるReContextを提案した。

  • この手法は、モデル内部の関連性信号を使用してクエリ条件付き証拠プールを構築し、完全な元の文脈を保持しながら最終生成の前にそれを再生する。
  • このアプローチは、トレーニング、外部メモリ、または文脈のプルーニングを必要とせずに、証拠の整理と回答生成を分離する。
  • 128Kの文脈長を持つ8つの長文脈データセットでの実験では、Qwen3-4B、Qwen3-8B、Llama3-8Bのバックボーン全体で一貫した改善が見られた。
  • この技術は、入力に既に存在する証拠を効果的に活用することで、テストされたすべての3つのモデルで最高の平均ランクを達成した。

ReContextは、文脈アクセスと効果的な利用の間のギャップに対処し、追加のトレーニングオーバーヘッドなしでLLMが推論タスクのために長入力をよりよく活用できるようにする。