La mise à jour TIS 2.0 introduit une capacité de réordonnancement des passages qui élimine le biais de position « lost-in-the-middle » dans la génération augmentée par récupération sans nécessiter d'entraînement supplémentaire. En appliquant des scores d'importance des tokens appris pour réordonner les documents récupérés, le système atteint un écart de position nul et améliore la précision de correspondance exacte de 5 points de pourcentage par rapport aux méthodes de référence.

  • Le réordonnancement des passages via les scores TIS réduit l'écart LITM à 0,000 et augmente l'EM à 21,7 %, atteignant les performances oracle sur les requêtes MS-MARCO.
  • Le checkpoint `tis-stage3-ert` existant, initialement entraîné pour la compression du cache KV, est transféré en zero-shot au réordonnancement des passages avec des résultats identiques à ceux d'un reranker dédié.
  • Un nouveau module `QueryAwareImportanceHead` ajoute une interaction par attention croisée requête-contexte et un entraînement contrastif InfoNCE pour l'évaluation de la pertinence par passage.
  • L'intégration du biais d'importance TIS dans le décodage spéculatif améliore la longueur d'acceptation du drafter de 5,80 à 6,57, offrant un gain de vitesse de 12,5 % sur les modèles LLaMA-3.
  • De nouveaux checkpoints `tis-passage-reranker` et `tis-v8b-hard-anchor` sont désormais disponibles sur HuggingFace alongside le dépôt GitHub mis à jour.

Les auteurs notent que bien que TIS adresse efficacement le biais de position, l'extraction des réponses reste le goulot d'étranglement principal, car environ 76 % des cas de test restent incorrects même après un réordonnancement optimal.