La versión 6 de Sentence Transformers introduce la clase MultiVectorEncoder, habilitando la recuperación de interacción tardía (late interaction) al estilo ColBERT directamente dentro de la biblioteca sin requerir dependencias externas como PyLate. Esta adición permite a los usuarios cargar puntos de control multi-vectoriales desde varias fuentes, incluidos los formatos PyLate y Stanford-NLP, utilizando una API unificada.

  • Los modelos multi-vectoriales preservan la información a nivel de token manteniendo un vector por token, evaluando las consultas contra documentos mediante el operador MaxSim para mejorar la calidad de recuperación frente a incrustaciones densas de un solo vector.
  • La implementación admite la recuperación visual de documentos a través de los modelos colpali-engine y maneja nativamente varios formatos de puntos de control.
  • Se utilizan estrategias de indexación como fast-plaid para gestionar los mayores costos de almacenamiento asociados con el almacenamiento de vectores para cada token.

Esta característica integra las capacidades de interacción tardía en el núcleo del ecosistema Sentence Transformers, permitiendo a los usuarios aprovechar métodos de recuperación de última generación mientras mantiene la compatibilidad con los flujos de trabajo existentes de modelos densos y dispersos.