デモンストレーションでは、ガイドテキストからのキーバリュー (KV) 状態を凍結させることで、Qwen2.5-3B-Instruct モデルがガイドをライブプロンプトに含めることなく新しい指示を適用できることが示されています。この手法は、モデルに対してガイドを一度実行し、その KV キャッシュを凍結してから、その隠れたプレフィックスの上に応答を生成することを含みます。

  • 架空の演算子を使用した数学テストでは、KV ガイド付きモデルは見えない数値に対する結果を正しく計算し、可視テキスト注入のパフォーマンスに匹敵しました。
  • 項目リストを必要とする抽出タスクでは、KV 手法は複数のシードで最初のトークンから正しい出力を生み出しましたが、可視注入には大きなドリフトが必要であり、ガイドなしの試みは完全に失敗しました。
  • このアプローチは、計算メカニズムではなく隠れた事前コンパイル済みプレフィックスとして記述されており、可視プロンプトのパディングと比較して速度の利点を提供します。

この技術は、明示的なテキストコンテキストの代わりに凍結された KV 状態を活用することで、大規模言語モデルにおける概念転送と指示フォローを可能にします。