La version 6 de Sentence Transformers introduit la classe MultiVectorEncoder, permettant la récupération par interaction tardive (late interaction) de style ColBERT directement au sein de la bibliothèque sans nécessiter de dépendances externes comme PyLate. Cette ajout permet aux utilisateurs de charger des points de contrôle multi-vecteurs depuis diverses sources, y compris les formats PyLate et Stanford-NLP, en utilisant une API unifiée.

  • Les modèles multi-vecteurs préservent l'information au niveau du token en conservant un vecteur par token, évaluant les requêtes contre les documents via l'opérateur MaxSim pour améliorer la qualité de récupération par rapport aux embeddings denses à vecteur unique.
  • L'implémentation prend en charge la récupération visuelle de documents via les modèles colpali-engine et gère nativement divers formats de points de contrôle.
  • Des stratégies d'indexation telles que fast-plaid sont utilisées pour gérer les coûts de stockage accrus associés au stockage de vecteurs pour chaque token.

Cette fonctionnalité intègre les capacités d'interaction tardive au cœur de l'écosystème Sentence Transformers, permettant aux utilisateurs d'exploiter des méthodes de récupération de pointe tout en maintenant la compatibilité avec les flux de travail existants de modèles denses et clairsemés.