TIS 2.0のアップデートでは、追加の学習を必要とせずに検索強化生成における「真ん中で失われる」位置バイアスを解消する文書再配置機能が導入されました。学習されたトークン重要度スコアを適用して取得した文書を再配置することで、システムはゼロの位置ギャップを実現し、ベースラインと比較して正確一致精度を5パーセントポイント向上させました。

  • TISスコアによる文書の再配置によりLITMギャップが0.000に減少し、EMが21.7%に上昇し、MS-MARCOクエリにおいてオラクルの性能と同等となりました。
  • KVキャッシュ圧縮のために元々学習された既存の`tis-stage3-ert`チェックポイントは、ゼロショットで文書再配置に移行でき、専用rerankerと同様の結果を示します。
  • 新しい`QueryAwareImportanceHead`モジュールは、クロスアテンションによるクエリとコンテキストの相互作用およびInfoNCE対照学習を追加し、各文書の関連性スコアリングを行います。
  • 推論デコーディングにTIS重要度バイアスを統合することで、drafterの受容長が5.80から6.57に向上し、LLaMA-3モデルで12.5%の高速化をもたらしました。
  • 新しいチェックポイント`tis-passage-reranker`および`tis-v8b-hard-anchor`は、更新されたGitHubリポジトリとともにHuggingFaceで利用可能になりました。

著者らは、TISが位置バイアスに効果的に対処している一方で、回答抽出が主要なボトルネックであると指摘しています。最適な再配置後でもテストケースの約76%が依然として誤っているためです。