研究者らは、テキストと生の画像パッチを単一の双方向Transformerで処理する260Mおよび800Mの多言語マルチモーダルエンコーダーであるNeoMMEファミリーを発表した。生成型視覚言語モデルとは異なり、NeoMMEは個別に事前学習されたビジョンタワーや因果的デコーダーに依存せず、マスク付き離散拡散目的関数でモデル全体を一から訓練する。

  • 視覚文書検索用にファインチューニングされたNeoMME-Retrieverは、単一の順伝播で密集型および後期相互作用の埋め込みを両方返す。
  • 260MモデルはViDoRe v3でnDCG@10が0.523を達成し、同等のモデルと比較して大幅に少ないパラメータ数でパレート最適 frontier に位置する。
  • 階層トークンプーリングと非対称量子化により、後期相互作用インデックスの保存容量はページあたり約1.5 MBから6 kBに削減され、ベースラインの検索品質の95%以上を維持している。
  • NVIDIA L40S GPU上で、260Mモデルは2048×2048解像度で秒間約51ページをエンコードし、ColModernVBERTのほぼ2倍のスループットを提供する。

これらのモデルはApache 2.0ライセンスの下でHugging Face Transformersで利用可能であり、OCR前処理なしでマルチモーダルコーパスの効率的なインデックス作成と検索を可能にする。