Sentence Transformers 버전 6는 PyLate와 같은 외부 종속성 없이 라이브러리 내에서 직접 ColBERT 스타일의 후기 상호작용(late interaction) 검색을 가능하게 하는 MultiVectorEncoder 클래스를 도입합니다. 이 추가 기능으로 사용자는 PyLate 및 Stanford-NLP 형식을 포함한 다양한 소스에서 단일 API를 사용하여 멀티벡터 체크포인트를 로드할 수 있습니다.

  • 멀티벡터 모델은 토큰당 하나의 벡터를 유지하여 토큰 수준의 정보를 보존하고, MaxSim 연산자를 통해 쿼리를 문서에 대해 스코어링하여 단일 벡터 밀집 임베딩보다 검색 품질을 향상시킵니다.
  • 구현은 colpali-engine 모델을 통한 시각적 문서 검색을 지원하며 다양한 체크포인트 형식을 네이티브로 처리합니다.
  • 각 토큰에 대한 벡터 저장과 관련된 증가된 저장 비용을 관리하기 위해 fast-plaid와 같은 인덱싱 전략이 사용됩니다.

이 기능은 후기 상호작용 능력을 Sentence Transformers 생태계의 핵심으로 가져와 사용자가 기존 밀집 및 희소 모델 워크플로우와의 호환성을 유지하면서 최신 검색 방법을 활용할 수 있도록 합니다.